Menu
FR

La sécurité des enfants vaut-elle les nouvelles procédures non-lucides chez Apple ? AdGuard donne commentaire sur CSAM - UPD

Un autre scandale récent retentit autour de la confidentialité et d'Apple (oui, encore un). Le monde a été divisé entre alarmistes et optimistes (dont la plupart, par une coïncidence extravagante, travaillent chez Apple) par une nouvelle fonction appelée détection CSAM, destinée à prévenir les abus envers les enfants.

Chez AdGuard, nous étudions sérieusement cette nouveauté : la sécurité des mineurs est importante, mais le potentiel d'abus de la confidentialité associé est si grand que des moyens de s'en protéger doivent apparaître. Et peut-être nous pouvons aider.

UPD : Et bien, qui l'aurait cru ? Apple ne va pas procéder (pour le moment) avec le lancement de son algorithme CSAM, cette info vient de nous parvenir via Appleinsider. En citant Apple eux-mêmes :

"Sur la base des réactions des clients, des groupes de défense, des scientifiques et d'autres personnes, nous avons décidé de prendre plus de temps au cours des prochains mois pour recueillir des informations et apporter des améliorations avant de lancer ces dispositifs de sécurité pour enfants d'une importance cruciale."

Aperçu général

Et non, avant que vous ne demandiez - ce n'était pas une faute de frappe, "scam" est en effet une arnaque, mais "CSAM" signifie Child Sexual Abuse Material, ou "Matériel relatif à l'abus sexuel envers les enfants". "Nous souhaitons protéger les enfants des prédateurs qui utilisent les outils de communication pour les recruter et les exploiter ", déclare Apple dans un document PDF monumental (évidemment, cette forme de communication a été choisie comme la plus pratique pour le lecteur).

Une si bonne intention, qui peut être contre la protection des petits enfants d'un destin cruel ? Pourquoi s'indigner ?

C'est la façon dont ils vont s'y prendre. Voici à quoi cela ressemble : Apple va scanner toutes les photos présentes sur votre appareil appartenant à l'écosystème (iPhone, iPad, MacBook, etc.) et les examiner pour détecter les signes d'abus sur les enfants. Si de tels signes sont relevés, la police en sera informée.

En fait, ils ne regarderont pas vos photos comme nous le faisons, en tournant des pages de papier ou en faisant défiler des pages numériques d'un album photo réel ou virtuel. Voici comment ils s'y prendront :

  • Ils prennent un ensemble d'images collectées et validées comme CSAM par des organismes de sécurité pour enfants. C'est donc un travail manuel à ce stade.

  • Ils transforment cet ensemble d'images en hachages. Un hachage est une chaîne de symboles qui décrit ce qui se trouve sur une image, et qui restera identique même si l'image est modifiée, recadrée, redimensionnée, etc.

  • Ils téléchargent sur votre appareil une collection de hachages pour les images de la base CSAM. La base CSAM est codée en dur dans l'image du système d'exploitation, de sorte que vous aurez toujours cette base dans votre appareil. Bien que les photos originales ne soient pas stockées sur votre appareil, qui voudrait stocker la base des hashs CSAM ?

  • Ils calculent les hachages pour toutes les photos qui doivent être téléchargées sur Apple iCloud.

  • Puis ils comparent les hachages calculés à la base des hachages CSAM. La comparaison se fait sur l'appareil.

  • Si des correspondances sont trouvées, Apple examine le compte manuellement. Si l'examinateur confirme qu'il s'agit bien d'une photo de la base CSAM, Apple signale le cas au NCMEC (National Center for Missing and Exploited Children ou Centre national pour les enfants disparus et exploités) soutenu par le Congrès américain. Il travaille en collaboration avec les services de police de tous les États-Unis.

Mais qu'est-ce qui peut mal tourner ici ?

Les robots peuvent faire des erreurs

Le résultat de tout algorithme d'IA qui comporte une reconnaissance basée sur l'apprentissage automatique représente une caractéristique probabiliste ("l'action suivante est la plus probable ou susceptible de se produire sur la photo"). L'IA n'est jamais sûre à 100 %. Il y a toujours une certaine part de résultats faux-positifs (dans notre cas, il y aura des situations où une photo sera considérée comme appartenant à la collection du CSAM par erreur).

Il peut y avoir d'autres défauts dans le travail des algorithmes de reconnaissance. Par exemple, les réseaux neuronaux souffrent souvent de surajustement. Cela se produit lorsqu'ils apprennent - en analysant un ensemble de données - à comprendre des modèles et des corrélations et à les retrouver plus tard dans d'autres données. Le surajustement peut se produit lorsqu'un ensemble de données d'apprentissage est trop petit ou trop raffiné. Et voilà que votre IA ne sait pas distinguer un chihuahua d'un gateau aux myrtilles.

Des utilisateurs ont déjà trouvé des paires d'images différentes ayant les mêmes valeurs de hachage. C'est ce qu'on appelle les collisions naturelles de NeuralHash. Et c'est exactement le moment qui nous inquiète.

Image source: Roboflow

Ok, Apple y a pensé et va faire intervenir des personnes dans des cas douteux. Qui sont ces personnes, de qui dépendent-elles, de quoi sont-elles responsables, quelle est la pureté de leurs intentions ?

Des personnes ont déjà commis des erreurs

Il y a tout juste un an, il a été révélé que Facebook payait des centaines de contractants extérieurs pour transcrire des clips audio d'utilisateurs de ses services. "Ce travail a perturbé les employés contractuels, qui ne sont pas informés de l'endroit où l'audio a été enregistré ni de la manière dont il a été obtenu - ils doivent seulement le transcrire. Ils entendent les conversations des utilisateurs de Facebook, parfois avec un contenu vulgaire, mais ne savent pas pourquoi Facebook a besoin de les transcrire ", ceci selon le rapport de Bloomberg.

En fait, c'est une pratique courante. Facebook a été critiqué simplement pour avoir organisé le travail de manière aussi chaotique. Au cours du même mois d'août 2019, Google, Amazon et Apple ont permis aux gens de refuser les évaluations humaines des enregistrements des assistants vocaux. Oui, c'est vrai, des personnes aléatoires écoutent ce que d'autres personnes demandent à leurs siris et alexas, puis le signalent respectivement à Apple et Amazon.

Il a également été découvert que les assistants vocaux sont déclenchés par erreur plus souvent que vous ne le pensez par plus de 1000 mots qui ressemblent à leurs noms ou à leurs commandes. Parmi ceux-ci, on trouve par exemple "élection" pour Alexa. Voulez-vous qu'un sous-traitant d'Amazon écoute ce que vous dites sur les élections en pensant qu'aucun étranger n'est à proximité ?

Creusons un peu plus : comment ça marche et quelles sont les probabilités ?

Donc, quand est-ce que le moment exact où les modérateurs humains d'Apple commencent à regarder vos photos au lieu de simples robots comparant des hachages arrive ?

C'est là que survient la probabilité mentionnée précédemment.

Le hachage d'une image est comparé aux hachages du CSAM. Le résultat de cette comparaison est stocké dans ce que l'on appelle un bon de sécurité, un ensemble de données "qui code le résultat de la correspondance avec des données chiffrées supplémentaires sur l'image ", selon Apple.

Quelles peuvent être ces données supplémentaires ? Eh bien, juste l'image elle-même, aussi simple et effrayant que cela. La documentation officielle d'Apple sur la détection de CSAM mentionne un "dérivé visuel". Une image qui montre l'image. Une vignette. Votre photo en qualité légèrement inférieure. C'est ainsi que c'est formulé, personne ne sait à quoi cela ressemblera exactement :

Ce bon de sécurité est téléchargé sur iCloud Photos avec l'image.

Grâce à une autre technologie appelée partage de secret à seuil, le système garantit que le contenu des bons de sécurité ne peut être interprété par Apple que si le compte iCloud Photos franchit le seuil de contenu connu de CSAM. Le seuil est fixé de manière à fournir un niveau de précision extrêmement élevé et à garantir moins d'une chance sur un billion par an de marquer incorrectement un compte donné.

Un trillion de chances de perdre, c'est un bon pari, non ?

Notez que cela fait référence au signalement d'un compte. Le signalement intervient après qu'un modérateur a examiné une photo et confirmé qu'elle correspond à une photo de la base. La possibilité d'un signal de correspondance de hachage faussement positif pour une photo donnée est de plusieurs ordres de grandeur plus élevée.

Il y a donc environ une chance sur un milliard que le seuil soit franchi par erreur. Chaque chance correspond à une photo. Combien de photos les gens téléchargent-ils sur iCloud ? Nous pouvons l'estimer. Sachant, par exemple, que "plus de 340 millions de photos sont téléchargées sur Facebook chaque jour" en 2021, un milliard de photos seront téléchargées en moins d'un an, et il y a plus d'utilisateurs de Facebook que d'utilisateurs d'Apple.

Mais d'abord, le nombre de photos téléchargées augmente de façon exponentielle, et ensuite, s'il y a une chance sur un milliard d'être mangé par un requin, vous ne voulez quand même pas être le "chanceux". Parce que c'est très grave. Vous n'êtes pas soupçonné d'avoir fumé de la marijuana dans les toilettes du bureau, mais d'avoir commis des abus sexuels sur des enfants.

À propos, la possession d'images de la base CSAM est un crime aux États-Unis et dans plusieurs autres pays, et Apple ne voudrait jamais être tenu responsable de complicité ou d'implication. C'est donc un voyage sans retour : une fois qu'Apple a commencé à les chercher, elle ne fera que développer des moyens de plus en plus sophistiqués pour le faire.

Pourquoi les utilisateurs devraient être inquietés par la détection CSAM ?

Résumons, et la liste ne sera pas courte.

  1. Des erreurs potentielles d'algorithmes aux conséquences dévastatrices sur des vies et des carrières.
  2. Les bugs logiciels. Ne confondez pas avec le premier point : compte tenu de l'état d'avancement de la technologie, c'est considéré normal que les robots se trompent. En fait, les bugs sont normaux aussi, il n'y a pas de logiciel sans eux. Mais le prix d'une erreur varie. Les bugs qui entraînent des fuites de données personnelles sont généralement parmi les plus "coûteux".
  3. Aucune transparence du système (Apple est connu pour sa réticence à divulguer le fonctionnement de ses produits). Votre seule option est de croire que les intentions d'Apple sont bonnes et qu'ils accordent suffisamment d'importance à votre vie privée pour la protéger.
  4. Manque de confiance. Pourquoi devrions-nous faire confiance à Apple après toutes ses failles et tous ses crimes contre la confidentialité (et ceux des autres) ?
  5. Extrapolation possible de la technologie pour analyser et détecter d'autres types de données. Sous le couvert de la protection de l'enfance, beaucoup d'opportunités pour les entreprises de plonger dans vos informations peuvent être introduites.
  6. Possibilités d'abus. Un ennemi ou un pirate informatique peut-il inséminer votre iPhone avec une certaine photo qui correspondrait à une photo d'un certain ensemble (trés pratique qu'il existe une collection toute faite, hein) ?

La photo à droite a été modifiée artificiellement pour avoir le même NeuralHash que la photo à gauche. Image source: Roboflow

Cela explique pourquoi nous réfléchissons à des moyens de donner aux utilisateurs le contrôle sur la façon dont Apple analyse leurs photos. Nous avons lancé quelques sondages sur nos comptes de réseaux sociaux, et la majorité absolue des abonnés (environ 85 %) aimerait pouvoir bloquer l'analyse de CSAM. Difficile de croire que toutes ces personnes ont l'intention d'abuser des enfants, elles voient simplement les risques.

Nous envisageons d'empêcher le téléchargement du bon de sécurité sur iCloud et de bloquer la détection de CSAM dans AdGuard DNS. Comment cela peut-il être fait ? Cela dépend de la manière dont la détection de CSAM est mise en œuvre, et avant de la comprendre en détail, nous ne pouvons rien promettre de particulier.

Qui sait ce que cette base peut devenir si Apple commence à coopérer avec des tiers ? La base rentre, le bon de sécurité sort. Chacun des processus peut être bloqué, mais pour l'instant nous ne sommes pas prêts à affirmer quelle solution est la meilleure et si elle peut être facilement incorporée dans AdGuard DNS. Des recherches et des tests sont nécessaires.

Sinon, le seul moyen serait de bloquer l'accès à iCloud. C'est assez radical de le faire pour tous les utilisateurs d'AdGuard DNS, mais nous pouvons le rendre optionnel. La question se pose, pourquoi ne pas simplement désactiver iCloud sur votre appareil ? Et vous savez quoi, avec la direction ou vont les choses, nous recommandons réellement de considérer cette option.

Vous avez aimé cet article ?
19 740 19740 avis
Excellent !

AdGuard pour Windows

AdGuard pour Windows est plus qu'un bloqueur de publicités. Il s'agit d'un outil polyvalent qui bloque les publicités, contrôle l'accès aux sites dangereux, accélère le chargement des pages et protège les enfants contre les contenus inappropriés.
En téléchargeant le programme, vous acceptez les termes des Conditions générales d'utilisation
En savoir plus
19 740 19740 avis
Excellent !

AdGuard pour Mac

AdGuard pour Mac est un bloqueur de publicité unique conçu pour macOS. En plus de vous protéger contre les publicités gênantes dans les navigateurs et les applications, il vous protège contre le pistage, l'hameçonnage et la fraude.
En téléchargeant le programme, vous acceptez les termes des Conditions générales d'utilisation
En savoir plus
19 740 19740 avis
Excellent !

AdGuard pour Android

AdGuard pour Android est la solution parfaite pour les appareils sur Android. Contrairement à la plupart des autres bloqueurs de publicité, AdGuard ne nécessite pas d'accès root et offre un large éventail d'options de gestion des applications.
En téléchargeant le programme, vous acceptez les termes des Conditions générales d'utilisation
En savoir plus
19 740 19740 avis
Excellent !

AdGuard pour iOS

Le meilleur bloqueur de publicités iOS pour iPhone et iPad. AdGuard élimine tous les types de publicités dans Safari, protège votre vie privée et accélère le chargement des pages. La technologie de blocage publicitaire d'AdGuard pour iOS garantit un filtrage de la plus haute qualité et vous permet d'utiliser plusieurs filtres en même temps
En téléchargeant le programme, vous acceptez les termes des Conditions générales d'utilisation
En savoir plus
19 740 19740 avis
Excellent !

AdGuard VPN

74 localisations dans le monde entier

Accès à tous types de contenu

Chiffrement fort

Politique sans journalisation

Connexion ultra-rapide

Support 24/7

Essai gratuit
En téléchargeant le programme, vous acceptez les termes des Conditions générales d'utilisation
En savoir plus
19 740 19740 avis
Excellent !

Bloqueur de contenu AdGuard

AdGuard content Blocker éliminera toutes sortes d'annonces dans les navigateurs mobiles qui soutiennent la technologie de bloqueur de contenu, à savoir, Samsung Internet et Yandex Browser. Tout en étant plus limité que AdGuard sous Android, il est gratuit, facile à installer et offre encore de haute qualité de blocage des annonces.
En téléchargeant le programme, vous acceptez les termes des Conditions générales d'utilisation
En savoir plus
19 740 19740 avis
Excellent !

Extension de navigateur AdGuard

AdGuard est l'extension bloqueuse de pub la plus souple et rapide qui bloque tous les types de pub sur toutes les pages Web! Selectionnez le module AdGuard pour votre type de navigateur préféré et surfez le web en toute sécurité et sans publicité.
19 740 19740 avis
Excellent !

Assistant AdGuard

Une extension de navigateur compagnon pour les applications pour ordinateur AdGuard. Elle offre un accès depuis le navigateur au blocage personnalisé d'éléments, à l'ajout de sites Web à la liste blanche et au signalement de bogue quelconque.
19 740 19740 avis
Excellent !

DNS AdGuard

AdGuard DNS est une solution infaillible qui bloque les publicités et n'a pas besoin d'installer d'autres applications. Facile à configurer et à utiliser, elle offre le minimum de protection nécessaire contre les publicités en ligne, les systémes de suivi et d'hameçonnage, et le contenu pour adultes.
19 740 19740 avis
Excellent !

AdGuard Home

AdGuard Home est un logiciel anti-pub et anti-traçage qui fonctionne au niveau du système. Une fois installé, il fonctionnera sur TOUS vos appareils, et vous n'aurez pas besoin d'installer de logiciel-client. L'essor de l'Internet des objets et l'affluence d'appareils connectés rend nécessaire le contrôle de votre réseau dans son intégralité.
19 740 19740 avis
Excellent !

AdGuard Pro pour iOS

AdGuard Pro a beaucoup plus à offrir que l'excellent blocage des publicités sous Safari, déjà connu par les utilisateurs de la version gratuite. En vous permettant de changer les paramètres DNS, il arrive à bloquer les pubs intempestives, de protéger vos enfants des contenus pour adultes en ligne et vos données personnelles contre le vol.
En téléchargeant le programme, vous acceptez les termes des Conditions générales d'utilisation
En savoir plus
19 740 19740 avis
Excellent !

AdGuard pour Safari

Au moment ou Apple a décidé de forcer tout le monde à utiliser son SDK, les extensions bloqueuses de pub pour Safari sont entrés dans une période difficile. L'extension AdGuard doit ramener le blocage des pubs dans Safari au top.
19 740 19740 avis
Excellent !

AdGuard Temp Mail

Un générateur d'adresses e-mail temporaires gratuit qui vous permet de rester anonyme et de protéger votre vie privée. Pas de spam dans votre boîte de réception principale !
19 740 19740 avis
Excellent !

AdGuard pour Android TV

AdGuard pour Android TV est la seule application qui bloque les publicités, protège votre vie privée et agit comme un pare-feu pour votre Smart TV. Recevez des avertissements sur les menaces web, utilisez des DNS sécurisés et bénéficiez d'un trafic chiffré. Détendez-vous et plongez dans vos émissions préférées avec une sécurité de premier ordre et zéro publicité !
Téléchargement de AdGuard Pour installer AdGuard, cliquez le fichier indiqué par la flèche Sélectionnez « Ouvrir » et cliquez sur « OK », puis attendez que le fichier soit téléchargé. Dans la fenêtre ouverte, faites glisser l'icône AdGuard dans le dossier « Applications ». Merci d'avoir choisi AdGuard! Sélectionnez « Ouvrir » et cliquez sur « OK », puis attendez que le fichier soit téléchargé. Dans la fenêtre ouverte, cliquez sur « Installer ». Merci d'avoir choisi AdGuard!
Installer AdGuard sur votre appareil mobile