Comment le doublage IA de Meta brise les barrières linguistiques

MENLO PARK, Californie : les nouveaux outils de doublage d’IA de Meta offriront une traduction automatique de la langue via le contenu vidéo Instagram et Facebook et les lunettes intelligentes Meta Ray-Ban.

Lors de la conférence Meta Connect de ce mois-ci, le fondateur et PDG de Meta, Mark Zuckerberg, a réalisé une démonstration de bobines Instagram convertissant entre l’anglais et l’espagnol. Il simulait les voix des créateurs et les mouvements des lèvres pour s’adapter aux traductions.

Meta, propriétaire d’Instagram, Facebook et WhatsApp, a déjà testé le doublage IA sur du contenu d’influenceurs latino-américains et américains. Il prévoit d’étendre les tests à davantage de langues et de créateurs dans le but ultime de rendre le contenu accessible à un public plus large, selon le site Web de Meta.

Zuckerberg portait également une paire de lunettes de soleil Ray-Ban de Meta sur la scène de la conférence pour une conversation multilingue avec le combattant de l’UFC Brandon Moreno, qui s’exprimait en espagnol. Les lunettes de soleil utilisaient des fonctions de doublage IA pour traduire les conversations en direct via des haut-parleurs à oreille ouverte. Les lunettes lancées en septembre dernier sont dotées de fonctionnalités d’appareil photo, d’appel et de messagerie.

Outre le doublage audio, la conférence a discuté des nouvelles fonctions d’édition d’images Meta, notamment la possibilité de modifier la tenue d’une personne dans une image. Également au programme : des options vocales d’assistant virtuel, y compris les voix des célébrités John Cena et Kristen Bell, et des suggestions de légendes générées par l’IA pour les publications Instagram et Facebook.

YouTube a annoncé le 18 septembre que des centaines de milliers de créateurs auront accès à des fonctionnalités de doublage automatique dans les prochains mois. YouTube proposera également un plus grand choix de langues, notamment l’espagnol, le portugais, le français et l’italien.

Les lunettes intelligentes Ray-Ban de Meta seront également capables de traduire la parole via les haut-parleurs des lunettes.