Vertex AI dans Firebase vise à simplifier la création d’applications mobiles basées sur Gemini

Actuellement disponible en version bêtale SDK Vertex AI pour Firebase permet la création de des applications qui vont au-delà du simple modèle de chat et des invites textuelles. Google vient de mettre à disposition un Colab pour aider les développeurs à travers les étapes nécessaires pour l’intégrer dans leurs applications.

La nouvelle collaboration couvre plusieurs sujets clés, notamment la conception d’invites, la configuration d’un projet Firebase pour utiliser Vertex AI, la configuration de votre projet Android Studio et l’intégration dans votre code à l’aide de Kotlin.

Pour créer des invites efficaces en matière de conception, explique Thomas Ezan, ingénieur chez Google, les développeurs peuvent utiliser Vertex AI Studioun outil basé sur le cloud destiné au prototypage et au test rapides d’invites avec des modèles Gemini.

Une fonctionnalité de Vertex AI qui promet de permettre aux développeurs de spécialiser plus facilement le comportement de leurs applications est Instructions système.

Les instructions système servent de « préambule » que vous intégrez avant l’invite de l’utilisateur. Cela permet de façonner le comportement du modèle pour l’aligner sur vos exigences et scénarios spécifiques.

À l’aide des instructions système, les développeurs peuvent prédéfinir une fois pour toutes le style ou le ton de sortie souhaité, un personnage ou un rôle (par exemple, « expliquer comme si j’avais 5 ans »), les objectifs ou les règles de la tâche (par exemple, « renvoyer un extrait de code sans autre forme de réponse). explication »), ainsi que tout contexte supplémentaire pertinent pour l’utilisateur de l’application.

Les instructions système sont définies au moment de l’initialisation, comme indiqué dans l’extrait suivant :

val generativeModel = Firebase.vertexAI.generativeModel(
  modelName = "gemini-1.5-flash",
  ...
  systemInstruction = 
    content { text("You are a knowledgeable tutor. Answer the questions using the socratic tutoring method.") }
)

Le SDK permet également aux développeurs de spécifier un responseMimeType pour la sortie générée. Cela peut être utile, par exemple, lors de la génération d’une sortie JSON afin d’exclure tout contenu non JSON indésirable.

L’intégration de l’API Gemini dans une application mobile, explique Ezan, ne se limite pas à fournir des interfaces conversationnelles, grâce aux capacités multimodales de Gemini. En effet, Gemini peut traiter diverses entrées en plus du texte, notamment des images, de l’audio et de la vidéo. Cela signifie, par exemple, que vous pouvez générer des légendes pour les images, résumer des fichiers audio, décrire des scènes de vidéos, etc.

Une autre fonctionnalité puissante soulignée par Ezan est la possibilité de créer des fonctions pour étendre les capacités du modèle. Par exemple, une fonction peut récupérer certaines données d’une base de données SQL et les ajouter au contexte d’invite. Vous pouvez également définir une série d’outils que le modèle peut utiliser pour générer sa sortie, comme le montre le diagramme suivant.

Ici, le modèle utilise deux appels dans vos données pour récupérer la date et la liste de commandes afin de répondre à une question d’un utilisateur.

Toutes ces fonctionnalités sont bien prises en charge par Vertex AI dans Firebase, afin que les développeurs puissent les exploiter à l’aide de leur langage de programmation préféré, notamment Swift, Kotlin, Flutter et JavaScript.

Le SDK Vertex AI du SDK Firebase permet aux développeurs Android et iOS d’accéder à l’API Gemini directement à partir de leurs applications sans nécessiter une couche de service backend intermédiaire écrite en Python, Java ou Go.