Meta offre un aperçu de son supposé tueur d’iPhone : Orion

Depuis des années, la Silicon Valley et Wall Street remettent en question la décision de Mark Zuckerberg d’investir des dizaines de milliards de dollars dans Reality Labs. Cette semaine, la division wearables de Meta a dévoilé un prototype de ses lunettes intelligentes Orion, un facteur de forme qui, selon la société, pourrait un jour remplacer l’iPhone. Cette idée semble folle… mais peut-être un peu moins folle qu’il y a une semaine.

Orion est un prototype de casque combinant réalité augmentée, suivi des yeux et des mains, IA générative et bracelet de détection de gestes. Grâce à des microprojecteurs LED et des lentilles en carbure de silicium (qui sont assez chères), Meta semble avoir résolu un défi de longue date en matière d’affichage AR. L’idée est que vous pouvez regarder à travers Orion – vous savez, comme une paire de lunettes – mais aussi voir des fenêtres d’application projetées sur les lentilles qui semblent être intégrées dans le monde qui vous entoure. Idéalement, vous pouvez utiliser vos mains, vos yeux et votre voix pour naviguer dans l’environnement.

Mais pour être clair, les lunettes intelligentes Orion de Meta sont plus volumineuses que vos lecteurs moyens, aurait coûté 10 000 $ un pop, et ne sera pas disponible à la vente de sitôt. Nous parlons dans des années. Toute la technologie d’Orion est relativement jeune et doit devenir moins chère, meilleure et plus petite pour se frayer un chemin dans une paire de lunettes intelligentes que vous pouvez acheter au centre commercial. Zuckerberg affirme que la société travaille déjà sur Orion depuis 10 ans, mais qu’il n’y a toujours pas de chemin vers un produit vendable.

Cependant, Meta n’est pas la seule entreprise à essayer de remplacer votre smartphone.

Ce mois-ci, Snap a dévoilé sa dernière génération de lunettes intelligentes Spectacles, qui sont plus grandes qu’Orion et ont un champ de vision plus limité. Un ancien ingénieur de Snap a qualifié les dernières Spectacles de «évidemment mauvais» – même si vous pouvez réellement les commander. Google a laissé entendre lors de sa conférence I/O en mai que lui aussi travaille sur une paire de lunettes intelligentespeut-être une refonte de son expérience ratée des Google Glass de la dernière décennie. Apple serait je travaille sur des lunettes AR qui ressemblent beaucoup à Orion. Et nous ne pouvons pas exclure la nouvelle startup de Jony Ive, LoveFrom, dont il a récemment confirmé qu’elle était travailler sur un portable IA avec OpenAI (même si nous ne savons pas s’il s’agit de lunettes, d’une épingle ou de tout autre chose).

Ce qui se prépare, c’est une course entre les entreprises les plus riches de Big Tech pour créer une élégante paire de lunettes intelligentes capables de faire tout ce que votre smartphone peut faire – et, espérons-le, quelque chose de plus. Le prototype de Meta a clairement montré deux choses : il y a quelque chose là-bas, mais nous n’y sommes pas encore.

Ces appareils constituent un changement notable par rapport aux casques de réalité virtuelle Quest que Meta propose depuis des années maintenant et au Vision Pro d’Apple. De nombreuses technologies similaires sont impliquées, comme le suivi oculaire et le suivi manuel, mais leur utilisation est complètement différente. Les casques VR sont encombrants, inconfortables à porter et donnent la nausée aux gens qui regardent les écrans. Les lunettes de soleil et les lunettes, en revanche, sont relativement agréables à porter et des millions d’Américains les utilisent quotidiennement.

Au crédit de Zuckerberg, il a poussé le facteur de forme des lunettes depuis assez longtemps, alors que ce n’était certainement pas populaire de le faire. On rapporte depuis longtemps que Le PDG de Meta déteste que ses applications de médias sociaux populaires doivent être accessibles via les téléphones Apple (ce qui mène peut-être au malheureux téléphone Facebook). Désormais, les concurrents de Meta se lancent également dans l’informatique en matière de lunettes.

Les premiers investissements de Meta semblent porter leurs fruits. Zuckerberg a donné mercredi une présentation d’Orion que nous n’oublierons pas de sitôt, remplissant d’électricité et d’enthousiasme une salle remplie de journalistes sceptiques. TechCrunch n’a pas encore fait de démonstration d’Orion, mais les premières critiques ont été très positives.

Ce que Meta propose aujourd’hui, c’est la Ray-Ban Meta : une paire de lunettes avec des caméras, des microphones, des haut-parleurs, des capteurs, un LLM sur l’appareil et la possibilité de se connecter à votre téléphone et au cloud. La Ray-Ban Meta est beaucoup plus simple qu’Orion, mais relativement abordable à 299 $ – en réalité pas beaucoup plus qu’une paire de Ray-Ban ordinaire. Elles ressemblent un peu aux Spectacles 3 lancées par Snap il y a quelques années, même si les lunettes Ray-Ban Meta semblent plus populaires.

Malgré les grandes différences de prix et de capacités, Orion et Ray-Ban Meta sont plus liées que vous ne le pensez.

« Orion est vraiment l’avenir, et nous voulons à terme vivre l’expérience holographique complète. Vous pouvez considérer Ray-Ban Meta comme notre première étape », a déclaré Li-Chen Miller, vice-président des produits chez Meta qui dirige son équipe de vêtements, dans une interview avec TechCrunch. « Nous devons vraiment définir les éléments de base, comme nous assurer qu’il est confortable, que les gens veulent le porter et qu’ils y trouvent de la valeur au quotidien. »

L’une des choses que Meta essaie de réaliser avec Ray-Ban Meta est l’IA. Actuellement, les lunettes intelligentes utilisent les modèles Llama de Meta pour répondre aux questions sur ce que vous voyez devant vous, en prenant des photos et en les faisant passer via le système d’IA parallèlement aux demandes verbales d’un utilisateur. Les fonctionnalités d’IA du Ray-Ban Meta sont aujourd’hui loin d’être parfaites : la latence est pire que le mode vocal avancé d’OpenAI ; La méta-IA nécessite des invites très spécifiques pour fonctionner correctement ; il hallucine ; et il n’a pas une intégration étroite avec de nombreuses applications, ce qui le rend moins utile que de simplement récupérer mon iPhone (peut-être selon la conception d’Apple). Mais les mises à jour de Meta à venir plus tard cette année tentent de résoudre ces problèmes.

Meta a annoncé qu’elle lancerait bientôt le traitement vidéo IA en direct pour ses Ray-Bans, ce qui signifie que les lunettes intelligentes diffuseront des vidéos en direct et des demandes verbales dans l’un des modèles d’IA multimodaux de Llama et produiront des réponses verbales en temps réel basées sur cette entrée. Il bénéficie également de fonctionnalités de base, telles que des rappels, ainsi que de davantage d’intégrations d’applications. Cela devrait rendre l’expérience beaucoup plus fluide, si cela fonctionne. Miller affirme que ces améliorations seront appliquées à Orion, qui fonctionne sur les mêmes systèmes d’IA générative.

« Certaines choses ont plus de sens pour un facteur de forme que pour un autre, mais il y a certainement une pollinisation croisée », a déclaré Miller.

De même, elle affirme que certaines fonctionnalités d’Orion pourraient s’appliquer à mesure que son équipe se concentre sur la fabrication de lunettes AR plus abordables. Les différents capteurs et eye trackers d’Orion ne sont pas des technologies bon marché. Le problème est qu’Orion doit améliorer les deux et plus économique.

Un autre défi est de taper. Votre smartphone dispose d’un clavier, mais pas vos lunettes intelligentes. Miller a travaillé sur des claviers chez Microsoft pendant près de 20 ans avant de rejoindre Meta, mais elle dit que le manque de clavier d’Orion est « libérateur ». Elle affirme que l’utilisation de lunettes intelligentes sera une expérience plus naturelle que l’utilisation d’un téléphone. Vous pouvez simplement parler, faire des gestes avec vos mains et regarder les choses pour naviguer dans Orion ; toutes choses qui viennent naturellement à la plupart des gens.

Ironiquement, l’iPhone est un autre appareil critiqué pour son absence de clavier. Steve Ballmer, ancien PDG de Microsoft tristement célèbre s’est moqué de l’iPhone en 2007, affirmant qu’il ne plairait pas aux clients professionnels car il ne disposait pas de clavier physique. Mais les gens se sont adaptés et ses commentaires semblent naïfs plus de 15 ans plus tard.

Je pense que faire en sorte qu’Orion se sente naturel est définitivement plus un objectif qu’une réalité à ce stade. The Verge note dans son examen pratique que les fenêtres remplissaient parfois tout le verre des lunettes, obstruant complètement la vision de l’utilisateur sur le monde qui l’entourait. C’est loin d’être naturel. Pour y arriver, Meta devra améliorer son IA, sa saisie, sa RA et une longue liste d’autres fonctionnalités.

« Pour Ray-Ban Meta, nous nous sommes limités à quelques éléments, et cela les fait très bien », a déclaré Miller. « Alors que, lorsque vous souhaitez construire une nouvelle plateforme informatique futuriste [with Orion]nous devons faire beaucoup de choses et les faire toutes très bien.