Anthropic dévoile une récupération contextuelle pour une meilleure gestion des données d’IA
Anthropic a annoncé Recherche contextuelleune avancée significative dans l’interaction des systèmes d’IA avec des bases de connaissances étendues. Cette technique répond au défi de la perte de contexte dans Génération augmentée par récupération (RAG) en enrichissant les blocs de texte avec des informations contextuelles avant l’intégration ou l’indexation.
La récupération contextuelle comprend des intégrations contextuelles et Contextual BM25, une version modifiée du traditionnel Algorithme BM25 qui prend en compte le contexte élargi des intégrations. Cette double approche réduit les échecs de récupération en améliorant à la fois la compréhension sémantique et la correspondance lexicale exacte.
Les améliorations de performances incluent une réduction de 35 % des échecs de récupération en utilisant uniquement Incorporations contextuelles et une diminution de 49 % avec l’intégration de Contextual Embeddings et Contextual BM25. L’ajout d’une étape de reclassement réduit encore les erreurs jusqu’à 67 %.
Anthropique également introduit mise en cache rapidequi réduit considérablement les coûts de traitement en mettant en cache les fragments de documents et en minimisant le traitement répétitif. Cette fonctionnalité optimise l’utilisation de l’API en permettant la reprise à partir de préfixes spécifiques dans les invites, réduisant ainsi efficacement le temps de traitement et les coûts des tâches répétitives ou des invites contenant des éléments cohérents. De plus, la récupération contextuelle s’est avérée efficace dans divers domaines, ce qui en fait un outil précieux pour les entreprises qui traitent de grands ensembles de données.
La communauté de l’IA a exprimé son enthousiasme pour la récupération contextuelle, soulignant son potentiel pour redéfinir la manière dont les systèmes d’IA gèrent et interprètent les données, notamment en réduisant la perte de contexte et en améliorant la fiabilité des réponses de l’IA.
Christophe Bouvard a réagi sur son X compte:
La récupération contextuelle d’Anthropic : RAG sous stéroïdes !
Pendant que l’utilisateur Kamesh.eth publié:
La récupération contextuelle est une solution révolutionnaire pour la mise à l’échelle des systèmes d’IA vers de grandes bases de connaissances.
Cette innovation méthodologique crée un précédent quant à la manière dont l’IA peut gérer l’information de manière plus intelligente, conduisant potentiellement à des systèmes d’IA plus autonomes et plus sensibles au contexte.
