Apple choisit que tout le monde fasse analyser ses photos par l’IA • The Register

Apple a déployé l’année dernière un mécanisme permettant d’identifier les points de repère et les lieux d’intérêt dans les images stockées dans l’application Photos sur les appareils iOS et macOS de ses clients et l’a activé par défaut, apparemment sans consentement explicite.

Les clients Apple commencent tout juste à le remarquer.

Cette fonctionnalité, connue sous le nom de Enhanced Visual Search, a été évoquée la semaine dernière par le développeur de logiciels Jeff Johnson, qui a exprimé son inquiétude dans deux articles sur l’incapacité d’Apple à expliquer la technologie, qui serait arrivée avec iOS 18.1 et macOS 15.1 sur 28 octobre 2024.

Dans un document de politique daté du 18 novembre 2024 (non indexé par la Wayback Machine d’Internet Archive jusqu’à 28 décembre 2024date de l’article initial de Johnson), Apple décrit la fonctionnalité ainsi :

Apple a expliqué la technologie dans un document technique publié le 24 octobre 2024, à peu près au moment où la recherche visuelle améliorée aurait fait ses débuts. Un modèle d’apprentissage automatique local analyse les photos pour rechercher une « région d’intérêt » pouvant représenter un point de repère. Si le modèle d’IA trouve une correspondance probable, il calcule une intégration vectorielle – un tableau de nombres – représentant cette partie de l’image.

L’appareil utilise alors cryptage homomorphe pour brouiller l’intégration de telle manière qu’elle puisse être exécutée via des algorithmes soigneusement conçus qui produisent une sortie également cryptée. Le but ici étant que les données cryptées puissent être envoyées à un système distant pour analyse sans que quiconque exploite ce système ne connaisse le contenu de ces données ; ils ont juste la possibilité d’effectuer des calculs dessus, dont le résultat reste crypté. L’entrée et la sortie sont cryptées de bout en bout et ne sont pas déchiffrées pendant les opérations mathématiques, du moins c’est ce qu’on prétend.

La dimension et la précision de l’intégration sont ajustées pour réduire les exigences informatiques élevées de ce cryptage homomorphe (vraisemblablement au détriment de la précision de l’étiquetage) « afin de répondre aux exigences de latence et de coût des services de production à grande échelle ». C’est-à-dire qu’Apple souhaite minimiser ses coûts de calcul dans le cloud et l’utilisation des ressources de ses appareils mobiles pour cette fonctionnalité gratuite.

Avec certaines métadonnées d’optimisation du serveur et l’aide de la recherche privée du voisin le plus proche (PNNS) d’Apple, le fragment de serveur Apple concerné reçoit une intégration cryptée de manière homomorphe de l’appareil et effectue les calculs cryptés susmentionnés sur ces données pour trouver une correspondance de point de repère à partir d’une base de données. et renvoie le résultat à l’appareil client sans fournir d’informations d’identification à Apple ni à son partenaire OHTTP Flare nuageuse.

Ainsi, Apple a commencé unilatéralement à diffuser les photos des gens via un algorithme d’apprentissage automatique exécuté localement qui analyse les détails de l’image (sur une base purement visuelle, sans utiliser de données de localisation) et crée une valeur associée à ce qui pourrait être un point de repère dans chaque image. Cette valeur est ensuite utilisée sur un serveur distant pour vérifier un index de ces valeurs stockées sur les serveurs Apple afin d’étiqueter dans chaque instantané les points de repère et les lieux trouvés dans la base de données Apple.

En termes plus simples : vous prenez une photo ; votre Mac ou iThing décrit localement ce qu’il considère comme un point de repère ou un lieu d’intérêt en un clin d’œil ; il chiffre de manière homomorphe une représentation de cette partie de l’image d’une manière qui peut être analysée sans être déchiffrée ; il envoie les données cryptées à un serveur distant pour effectuer cette analyse, afin que le point de repère puisse être identifié à partir d’une grande base de données de lieux ; et il reçoit à nouveau l’emplacement suggéré sous une forme cryptée qu’il est seul à pouvoir déchiffrer.

Si tout fonctionne comme annoncé et qu’il n’y a pas de canaux secondaires ou autres fuites, Apple ne peut pas voir ce qu’il y a dans vos photos, ni les données d’image ni l’étiquette recherchée.

Apple affirme que son utilisation de ce cryptage homomorphe plus ce qu’on appelle confidentialité différentielle – un moyen de protéger la vie privée des personnes dont les données apparaissent dans un ensemble de données – exclut les problèmes potentiels de confidentialité.

« Apple envisage de le faire d’une manière (théoriquement) respectueuse de la vie privée, mais je ne pense pas que l’entreprise soit à la hauteur de ses idéaux ici », a observé le développeur de logiciels Michael Tsai dans un communiqué. analyse partagée Mercredi. « Non seulement ce n’est pas une option d’adhésion, mais vous ne pouvez pas vous désinscrire s’il commence à télécharger des métadonnées sur vos photos. avant vous utilisez même la fonction de recherche. Cela se produit même si vous avez déjà choisi de ne pas télécharger vos photos sur iCloud. »

Tsai affirme que l’approche d’Apple est encore moins privée que son plan d’analyse CSAM abandonné « car il s’applique aux photos non iCloud et télécharge des informations sur toutes les photos, pas seulement celles avec des hachages neuronaux suspects ».

Néanmoins, Tsai reconnaît l’affirmation d’Apple selon laquelle les données traitées de cette manière sont cryptées et dissociées du compte et de l’adresse IP de l’utilisateur.

Bien qu’il n’y ait aucune preuve à ce stade qui confirme les affirmations d’Apple en matière de confidentialité, l’inquiétude de la communauté a davantage à voir avec la manière dont Apple a déployé cette technologie.

« C’est très frustrant lorsque vous découvrez un service deux jours avant le Nouvel An et que vous constatez qu’il est déjà activé sur votre téléphone », dit Matthew Green, professeur agrégé d’informatique au Johns Hopkins Information Security Institute aux États-Unis.

Le registre a demandé à Apple de commenter et, comme d’habitude, nous n’avons reçu aucune réponse. Nous constatons que le manque de communication est l’essence du mécontentement de la communauté.

« Mon objection à la recherche visuelle améliorée d’Apple ne concerne pas spécifiquement les détails techniques, qui sont difficiles à évaluer pour la plupart des utilisateurs, mais plutôt le fait qu’Apple m’a retiré le choix et a activé le service en ligne par défaut », a déclaré Johnson dans son deuxième message.

Il a dit Le registre qu’il n’est pas clair si les données/métadonnées de votre bibliothèque de photos sont téléchargées avant même que vous ayez la possibilité de désactiver le paramètre de désinscription.

« Je ne pense pas que quiconque le sache, et Apple ne l’a pas dit », a observé Johnson. ®