Deepmind affirme que son IA fonctionne mieux que les médaillés d’or internationaux en mathématiques en mathématiques

Un système d’IA développé par Google Deepmind, le principal laboratoire de recherche sur l’IA de Google, semble avoir dépassé le médaillé d’or moyen dans la résolution des problèmes de géométrie dans un concours international de mathématiques.

Le système, appelé Alphageométrie2, est une version améliorée d’un système, Alphageométrie, que DeepMind a publié en janvier dernier. Dans un Étude nouvellement publiéeles chercheurs DeepMind derrière Alphageométrie2 affirment que leur IA peut résoudre 84% de tous les problèmes de géométrie au cours des 25 dernières années de l’Olympiade mathématique internationale (IMO), un concours de mathématiques pour les élèves du secondaire.

Pourquoi DeepMind se soucie-t-il d’un concours de mathématiques de niveau secondaire? Eh bien, le laboratoire pense que la clé d’une IA plus compétente pourrait résider dans la découverte de nouvelles façons de résoudre des problèmes de géométrie difficiles – en particulier Problèmes de géométrie euclidienne.

Prouver des théorèmes mathématiques, ou expliquer logiquement pourquoi un théorème (par exemple le théorème de Pythagore) est vrai, nécessite à la fois le raisonnement et la capacité de choisir parmi une gamme d’étapes possibles vers une solution. Ces compétences en résolution de problèmes pourraient – si le droit de Deepmind – s’avèrent être un élément utile des futurs modèles d’IA à usage général.

En effet, l’été dernier, DeepMind a démontré un système qui combinait Alphageométrie2 avec Alphaproof, un modèle d’IA pour le raisonnement mathématique formel, pour résoudre quatre problèmes sur six de l’OMI 2024. En plus des problèmes de géométrie, des approches comme celles-ci pourraient être étendues à d’autres domaines de mathématiques et de sciences – par exemple, pour aider à des calculs d’ingénierie complexes.

Alphageométrie2 a plusieurs éléments fondamentaux, y compris un modèle de langue de la famille Gemini de Google de modèles d’IA et un «moteur symbolique». Le modèle Gemini aide le moteur symbolique, qui utilise des règles mathématiques pour déduire des solutions aux problèmes, à arriver à des preuves réalisables pour un théorème de géométrie donné.

Les problèmes de géométrie des olympiades sont basés sur des diagrammes qui ont besoin de «constructions» pour être ajoutées avant de pouvoir être résolues, telles que des points, des lignes ou des cercles. Le modèle Gemini d’Alphageométrie2 prédit quelles constructions pourraient être utiles à ajouter à un diagramme, que le moteur fait référence pour effectuer des déductions.

Fondamentalement, le modèle Gemini d’Alphageométrie2 suggère des étapes et des constructions dans un langage mathématique formel au moteur, qui – suivant des règles spécifiques – vérifie ces étapes pour la cohérence logique. Un algorithme de recherche permet à Alphageométrie2 de effectuer plusieurs recherches de solutions en parallèle et de stocker des résultats éventuellement utiles dans une base de connaissances communes.

Alphageométrie2 considère un problème «résolu» lorsqu’il arrive à une preuve qui combine les suggestions du modèle Gemini avec les principes connus du moteur symbolique.

En raison de la complexité de la traduction des preuves dans un format que l’IA peut comprendre, il y a une pénurie de données de formation en géométrie utilisables. DeepMind a donc créé ses propres données synthétiques pour former le modèle de langage d’Alphageométrie2, générant plus de 300 millions de théorèmes et de preuves de complexité variable.

L’équipe DeepMind a sélectionné 45 problèmes de géométrie des compétitions d’OMI au cours des 25 dernières années (de 2000 à 2024), y compris des équations linéaires et des équations qui nécessitent un déplacement d’objets géométriques autour d’un avion. Ils les ont ensuite «traduits» en un ensemble plus important de 50 problèmes. (Pour des raisons techniques, certains problèmes ont dû être divisés en deux.)

Selon l’article, Alphageométrie2 a résolu 42 des 50 problèmes, éliminant le score médaillé d’or moyen de 40,9.

Certes, il y a des limites. Une bizarrerie technique empêche l’alphageométrie2 de résoudre des problèmes avec un nombre variable de points, d’équations non linéaires et d’inégalités. Et l’alphageométrie2 n’est pas techniquement Le premier système d’IA à atteindre les performances au niveau de la médale or en géométrie, bien qu’il soit le premier à l’atteindre avec un ensemble de problèmes de cette taille.

Alphageométrie2 a également fait pire sur un autre ensemble de problèmes d’OMI plus durs. Pour un défi supplémentaire, l’équipe DeepMind a sélectionné des problèmes – 29 au total – qui avaient été nominés pour les examens de l’OMI par des experts en mathématiques, mais qui ne sont pas encore apparus dans un concours. Alphageométrie2 ne pouvait en résoudre que 20 d’entre eux.

Pourtant, les résultats de l’étude sont susceptibles d’alimenter le débat sur le fait que les systèmes d’IA devraient être construits sur la manipulation des symboles – c’est-à-dire manipulant des symboles qui représentent des connaissances en utilisant des règles – ou sur les réseaux de neurones qui ont plus de cerveau.

Alphageométrie2 adopte une approche hybride: son modèle Gemini a une architecture de réseau neuronal, tandis que son moteur symbolique est basé sur des règles.

Les partisans des techniques de réseau neuronal soutiennent que le comportement intelligent, de la reconnaissance vocale à la génération d’images, ne peut émerger de rien de plus que des quantités massives de données et de l’informatique. Par opposition aux systèmes symboliques, qui résolvent les tâches en définissant des ensembles de règles de gestion des symboles dédiées à des emplois particuliers, comme la modification d’une ligne dans le logiciel de traitement de texte, les réseaux de neurones essaient de résoudre les tâches par l’approximation statistique et l’apprentissage à partir d’exemples.

Les réseaux de neurones sont la pierre angulaire de puissants systèmes d’IA comme le modèle de «raisonnement» O1 d’OpenAI. Mais, revendiquer les partisans de l’IA symbolique, ils ne sont pas les fins de tous; L’IA symbolique pourrait être mieux placée pour coder efficacement les connaissances du monde, raisonner à travers des scénarios complexes et «expliquer» comment ils sont arrivés à une réponse, selon ces partisans.

« Il est frappant de voir le contraste entre les progrès continus et spectaculaires sur ce type de repères, et pendant ce temps, les modèles de langues, y compris les plus récents avec` `raisonnement  », ce qui continue de lutter avec des problèmes de bon sens », a déclaré Vince Conitzer, un carnegie mellon A déclaré à TechCrunch, professeur à l’informatique universitaire spécialisé dans l’IA. «Je ne pense pas que ce soit tout de la fumée et des miroirs, mais cela illustre que nous ne savons toujours pas vraiment à quel comportement attendre du système suivant. Ces systèmes sont susceptibles d’avoir un impact très percutant, nous avons donc de toute urgence les comprendre et les risques qu’ils posent beaucoup mieux. »

Alphageométrie2 démontre peut-être que les deux approches – manipulation du symbole et réseaux de neurones – combiné sont un chemin prometteur dans la recherche d’une IA généralisable. En effet, selon The DeepMind Paper, O1, qui a également une architecture de réseau neuronal, n’a pu résoudre aucun des problèmes de l’OMI auxquels Alphageométrie2 a pu répondre.

Ce n’est peut-être pas le cas pour toujours. Dans l’article, l’équipe DeepMind a déclaré avoir trouvé des preuves préliminaires que le modèle de langue d’Alphageométrie2 était capable de générer des solutions partielles aux problèmes sans l’aide du moteur symbolique.

« [The] Les résultats de soutien des idées que les grands modèles de langue peuvent être autosuffisants sans dépendre des outils externes [like symbolic engines]», A écrit l’équipe DeepMind dans le journal,« mais jusqu’à [model] La vitesse est améliorée et les hallucinations sont entièrement résolues, les outils resteront essentiels pour les applications mathématiques. »