Comme promis, Gemini AI fait ses premiers pas dans l’application Google Home, avec les flux de caméras Nest et les domotiques parmi les premiers bénéficiaires.
À partir de cette semaine, Gemini pourra rédiger des descriptions de ce qui se passe dans les événements vidéo Nest capturés. Et bientôt, le LLM commencera à vous aider à créer des automatisations Google Home basées sur des requêtes en langage naturel.
Google adopte une approche prudente en matière d’ajout de fonctionnalités d’IA à la maison intelligente, en ajoutant seulement quelques fonctionnalités pratiques pour ses caméras Nest et des recettes d’automatisation avant de se lancer dans des améliorations plus approfondies, telles que l’attribution à Google Assistant d’un style de conversation plus « fluide ». .
Cette actualité fait partie de la couverture approfondie de TechHive sur les meilleures caméras de sécurité.
Les nouvelles fonctionnalités Gemini font suite à une extension pour l’application Gemini qui permet au modèle d’IA de Google de contrôler vos lumières intelligentes, vos thermostats et autres gadgets pour la maison intelligente.
Pour l’instant, vous devrez être membre du programme Public Preview de Google pour essayer les nouvelles fonctionnalités basées sur Gemini, et vous devrez également activer le paramètre « Fonctionnalités expérimentales d’IA ».
Descriptions vidéo Nest basées sur l’IA
Jusqu’à présent, les événements vidéo dans les flux de vos caméras Nest étaient limités à des descriptions textuelles génériques telles que « animal ou activité détectée ». Avec l’aide de Gemini, l’application Google Home peut désormais générer des étiquettes plus spécifiques en fonction de ce qui se passe réellement dans le clip.
Par exemple, la description générée par Gemini pourrait indiquer « le chien creuse dans le jardin » ou « un paquet de ballons ». Selon Google, appuyer sur l’icône d’information vous donnera une description plus détaillée.
Gemini peut désormais rédiger des descriptions de ce qui se passe dans un événement vidéo Nest capturé.
En plus de simplement parcourir vos flux vidéo étiquetés Gemini, vous pourrez également effectuer une recherche sur ces descriptions.
Par exemple, si vous saisissez « Ai-je reçu des colis aujourd’hui ? » Dans le champ de recherche, vous pourriez obtenir un résultat généré par Gemini indiquant : « Quelqu’un a laissé un colis et des ballons ce matin, et 2 personnes avec un petit chien ont déposé 3 colis un peu plus tard. »
Mieux encore, la description pourrait inclure le nom d’une personne détectée dans votre bibliothèque « visages familiers » si elle est la seule personne présente dans l’événement vidéo. Si votre ami « familier » fait partie d’un groupe, son nom n’apparaîtra pas dans la description, mais vous pourrez toujours effectuer une recherche sur son nom, indique Google.
Les nouvelles descriptions vidéo basées sur Gemini présentent encore certaines limites, à commencer par le fait qu’elles ne fonctionneront que sur les caméras Nest gérées dans l’application Google Home. En d’autres termes, ne vous attendez pas à des descriptions d’IA avec des caméras existantes qui sont toujours bloquées dans l’ancienne application Nest.
De plus, les nouvelles descriptions ne sont disponibles qu’en anglais, et uniquement aux États-Unis pour le moment.
Enfin, il sera intéressant de voir si les descriptions générées par Gemini sont victimes des hallucinations qui affligent la plupart des modèles d’IA.
« Aidez-moi à créer » des automatisations
Bientôt, pour ceux qui participent au programme Public Preview de Google, une autre fonctionnalité intéressante basée sur Gemini : la possibilité de créer des domotiques basées sur des requêtes en langage naturel.
Par exemple, vous pourrez dire « Verrouillez les portes et éteignez toutes les lumières à l’heure du coucher » et Gemini créera instantanément une domotique Google pour vous, que vous pourrez ensuite consulter ou modifier selon vos besoins.
Gemini pourra bientôt créer des automatisations basées sur vos requêtes en langage naturel.
Si vous n’êtes pas sûr du type d’automatisation que vous souhaitez, vous pouvez simplement donner l’essentiel à Google Home (comme « Aidez les enfants à se rappeler de ranger leurs vélos lorsqu’ils rentrent de l’école ») et Gemini vous proposera quelques déclencheurs suggérés. et des actions.
De telles automatisations « aidez-moi à créer » commenceront à être déployées en avant-première publique « plus tard cette année », indique Google.
À venir : un meilleur assistant Google
La nouvelle fonctionnalité Gemini la plus spectaculaire prévue pour Google Home est peut-être un assistant Google amélioré pour les haut-parleurs et les écrans Nest, avec un style de conversation plus « fluide ».
Avec l’aide de Gemini, l’Assistant Google remanié sur les enceintes Nest aura un son « plus naturel » et « vous comprendra mieux », permettant davantage de « va-et-vient » ainsi que des questions de suivi.
Cela semble séduisant, mais il convient de noter que Google n’a pas répertorié l’Assistant Google réorganisé dans sa liste des améliorations de Google Home pour l’automne 2024, ce qui suggère que nous devrons attendre plus longtemps pour que cette fonctionnalité arrive. (Descriptions vidéo IA et automatisations « aidez-moi à créer » a fait faire la coupe.)