Les populaires lunettes intelligentes Ray-Ban de Meta bénéficient de 4 mises à niveau gratuites, et je suis tenté d’en acheter une

Lors de l’événement Meta Connect plus tôt cette semaine, Mark Zuckerberg a présenté une multitude de nouvelles fonctionnalités sur le produit phare de l’entreprise. Lunettes intelligentes Meta Ray-Ban. Qualifiant les lunettes de « facteur de forme parfait pour l’IA », les nouvelles améliorations de la qualité de vie se concentrent sur l’IA multimodale des lunettes pour une interaction plus naturelle (similaire à ce que nous avons vu avec Gemini et ChatGPT 4o de Google).

Aussi : Tout ce qui a été annoncé lors de Meta Connect 2024 : Affordable Quest 3, lunettes AR et plus

Mais au-delà des améliorations de la communication, l’IA multimodale des lunettes permet de nouvelles interactions intéressantes, leur donnant la possibilité de « voir » ce que vous voyez et « d’entendre » ce que vous entendez avec moins de contexte nécessaire du côté de l’utilisateur.

L’une des caractéristiques les plus utiles est la capacité des lunettes à « se souvenir » des choses pour vous, en prenant note de chiffres spécifiques ou d’indicateurs visuels à conserver pour plus tard. Voici un aperçu de tout ce qui sera bientôt déployé.

1. Traductions à la volée

Semblable à d’autres technologies de traduction en direct que nous avons vues émerger cette année, les Meta Ray-Bans bénéficieront d’une fonction de traduction en direct conçue pour fonctionner en temps réel (ou du moins à proximité) avec l’espagnol, le français et l’italien. Au cours de l’événement, Zuckerberg a démontré une conversation avec un hispanophone, et les lunettes ont traduit ce que chaque locuteur a dit et entendu de l’espagnol vers l’anglais en quelques secondes seulement entre les lignes.

Bien sûr, toutes les conversations n’impliqueront pas deux utilisateurs portant des lunettes intelligentes, c’est pourquoi la société permet aux utilisateurs de synchroniser leur sortie avec l’application compagnon Meta, en exploitant le smartphone pour afficher les traductions.

Aussi : Examen des lunettes intelligentes Meta Ray-Ban : les meilleures lunettes AR alimentées par l’IA à acheter dès maintenant

En plus des nouvelles fonctionnalités des lunettes, Meta a également présenté son nouvel outil d’IA de traduction pour Instagram Reels, qui traduit automatiquement l’audio en anglais, puis utilise l’IA pour synchroniser les mouvements de la bouche de l’orateur afin qu’ils correspondent à la traduction anglaise. Le résultat – du moins dans la démo – était une vidéo d’apparence naturelle en anglais utilisant le propre échantillon de voix de l’orateur.

Jusqu’à présent, cette fonctionnalité n’en est qu’à ses débuts et n’est disponible qu’en espagnol pour l’instant sur Instagram et Facebook pendant que Meta continue de tester la technologie.

2. Les lunettes peuvent désormais « mémoriser » des choses

La démo a également montré la « mémoire photographique » des lunettes en résolvant un problème que nous avons tous rencontré : se souvenir de l’endroit où nous nous sommes garés. L’usager a regardé le numéro sur la place de stationnement et a simplement dit : « Rappelez-vous où je me suis garé ».

Plus tard, en demandant aux lunettes : « Hé Meta, où est-ce que je me suis garé ? a invoqué l’IA pour répondre avec le numéro de la place de stationnement. Ce type de « classement » des connaissances à la volée est un exemple d’utilisation de ce que l’IA fait de mieux : rappeler des données spécifiques dans un contexte prédéfini. Nous devrons tester nous-mêmes la fiabilité de la fonctionnalité pour des informations moins visuellement suggérées.

Des exemples supplémentaires d’utilisation de cette fonctionnalité sont faciles à imaginer, en examinant n’importe quoi, des listes d’épicerie aux dates d’événements ou aux numéros de téléphone.

3. Multimodalité de niveau supérieur

Auparavant, vous deviez dire « Hey Meta » pour invoquer l’IA des lunettes, puis attendre l’invite pour commencer votre enquête. Désormais, vous pouvez simplement poser des questions sur les lunettes en temps réel, même en mouvement, en utilisant l’IA multimodale des lunettes pour analyser ce que vous voyez ou entendez.

Aussi : la nouvelle offre Quest 3 de 512 Go de Meta pourrait être la meilleure offre de casque VR en ce moment

Une démo montrait un utilisateur épluchant un avocat et demandant : « Que puis-je faire avec ça ? », sans préciser à quoi « ceux-ci » faisaient référence. Une autre démo montrait un utilisateur fouillant dans un placard et sortant plusieurs vêtements à la fois, demandant à l’IA de l’aider à styliser une tenue en temps réel. Comme d’autres assistants vocaux populaires se sont développés, vous pouvez toujours interrompre Meta AI lors de la conversion avec celui-ci.

Dans le même esprit, les capacités multimodales des lunettes vont au-delà de la simple analyse statique de ce qui est visible. Les lunettes reconnaîtront des éléments tels que des URL, des numéros de téléphone que vous pouvez appeler ou des codes QR que vous pourrez scanner instantanément avec les lunettes.

4. Partenariat « Be My Eyes »

Enfin, Zuckerberg a présenté une nouvelle fonctionnalité intelligente d’accessibilité des lunettes. Les personnes aveugles et malvoyantes peuvent utiliser leurs lunettes pour transmettre ce qu’elles voient à un bénévole à l’autre bout du fil, qui pourra leur expliquer les détails de ce qu’elles regardent. Soyez mes yeux est un programme déjà existant qui met en relation des personnes malvoyantes avec des bénévoles virtuels via une vidéo en direct.

La démo montrait une femme regardant une invitation à une fête avec des dates et des heures. Pourtant, les utilisations réelles de cela pourraient essentiellement aller de la lecture de panneaux à l’achat de produits d’épicerie en passant par la navigation dans un gadget technologique.

Aussi : le co-fondateur de Google sur l’avenir des appareils portables IA (et ses regrets sur les Google Glass)

Enfin, Zuck a présenté de nouveaux modèles, notamment une nouvelle édition limitée des Ray-Ban avec des montures claires et transparentes, ainsi que l’introduction de nouveaux verres de transition, doublant efficacement leur utilisation à la fois comme lunettes de soleil et comme lunettes de vue.

Le Méta Ray-Ban commencent à 300 $ et sont disponibles en neuf modèles de montures différents et un nouveau style transparent en édition limitée.