Google Cloud ajoute une recherche de vecteurs évolutive à Memorystore pour le cluster Valkey et Redis

Google Cloud a introduit capacités de recherche vectorielle évolutives sur son Memorystore pour Valkey et Redis Cluster. Cette mise à jour permet aux développeurs d’effectuer des recherches de vecteurs avec des latences ultra-faibles sur des milliards de vecteurs.

Cette amélioration est particulièrement bénéfique pour les applications qui s’appuient sur l’IA générative, telles que la génération augmentée par récupération (RAG), les systèmes de recommandation et la recherche sémantique.

La mise à jour exploite la possibilité de partitionner les indices vectoriels entre les nœuds d’un cluster. Chaque nœud contient une partition de l’index qui correspond à sa partie de l’espace de clés, permettant au cluster de gérer des milliards de vecteurs tout en conservant une latence à un chiffre en millisecondes et un rappel de plus de 99 %. Cette architecture accélère non seulement les temps de création d’index de manière linéaire à mesure que des nœuds sont ajoutés, mais optimise également les performances de recherche – de manière logarithmique pour Petit monde navigable hiérarchique (HNSW) recherche et linéairement pour recherches par force brute.

Les développeurs peuvent utiliser ces nouvelles capacités pour étendre leurs clusters jusqu’à 250 fragments, stockant ainsi des milliards de vecteurs dans une seule instance. Cette évolutivité est essentielle pour les applications d’entreprise qui doivent effectuer des recherches sémantiques sur de vastes ensembles de données.

En plus de l’évolutivité, la mise à jour introduit la prise en charge des requêtes hybrides. Les requêtes hybrides permettent aux développeurs de combiner des recherches vectorielles avec des filtres sur les champs numériques et de balises. Cette fonctionnalité est particulièrement utile pour affiner les résultats de recherche en fonction de critères spécifiques. Par exemple, un détaillant de vêtements en ligne peut utiliser la recherche hybride pour recommander des articles similaires tout en filtrant les résultats en fonction du type de vêtements et de la fourchette de prix.

Pour implémenter une requête hybride, les développeurs peuvent créer un nouvel index vectoriel avec des champs supplémentaires pour le filtrage :

FT.CREATE inventory_index SCHEMA embedding VECTOR HNSW 6 DIM 128 TYPE FLOAT32 DISTANCE_METRIC L2 clothing_type TAG clothing_price_usd NUMERIC

Cela crée un index ‘index_inventaire’ avec un champ vectoriel `intégration` pour l’intégration sémantique du vêtement, un champ de balise `type_de_vêtements` pour le type de vêtement (par exemple, « robe » ou « chapeau »), et un champ numérique `vêtements_price_usd` pour le prix du vêtement.

Pour effectuer une requête hybride sur ‘index_inventaire’ :

FT.SEARCH inventory_index “(@clothing_type:{dress} @clothing_price_usd:[100-200])=>[KNN 10 @embedding $query_vector]“ PARAMS 2 query_vector “...” DIALECT 2

Cette requête a récupéré 10 résultats filtrés par type de vêtement « robe » et une fourchette de prix de 100 à 200, combinés à une recherche de similarité vectorielle.

Certains membres de la communauté ont mis en garde contre l’adoption de la recherche vectorielle de Redis si cette technologie n’est pas déjà déployée au sein d’une organisation. Par exemple, marr75 sur Reddita déclaré :

Le meilleur conseil est probablement de s’en tenir à votre technologie dominante de persistance des données et de requêtes. Si c’est RediSearch, respectez-le. Si ce n’est pas le cas, ne le choisissez pas pour son support de recherche vectorielle qui est bien mais pas le meilleur de sa catégorie ou à la pointe de la technologie.

Google Cloud contribue également à la communauté open source en faisant don de ses capacités de recherche vectorielle au magasin de données clé-valeur Valkey. Cette initiative vise à permettre aux développeurs Valkey d’exploiter la recherche vectorielle pour créer des applications avancées d’IA générative.

Dans un récent blog d’annonce de Google, Sanjeev Mohananalyste principal chez SanjMo et ancien vice-président de Gartner, a partagé son point de vue sur les contributions de Google :

Valkey est important pour continuer à faire progresser les efforts menés par la communauté visant à fournir des alternatives de bases de données open source riches en fonctionnalités. Le lancement du support Valkey dans Memorystore est un autre exemple de l’engagement de Google à fournir des solutions véritablement ouvertes et accessibles aux utilisateurs. Leurs contributions à Valkey profitent non seulement aux développeurs en quête de flexibilité, mais renforcent également l’écosystème open source plus large.

Les recherches vectorielles rapides et précises sont pertinentes dans des secteurs tels que le commerce électronique, où la compréhension des préférences des clients et la fourniture de recommandations personnalisées peuvent s’avérer bénéfiques.