Résumé: Un nouvel algorithme d’IA inspiré par la capacité du génome à compresser de vastes informations offre un aperçu du fonctionnement cérébral et des applications technologiques potentielles. Les chercheurs ont découvert que cet algorithme effectue des tâches telles que la reconnaissance d’images et les jeux vidéo presque aussi efficacement que les réseaux d’IA entièrement formés.
En imitant la façon dont les génomes codent des comportements complexes avec des données limitées, le modèle met en évidence l’avantage évolutif d’une compression efficace des informations. Les résultats suggèrent de nouvelles voies pour développer des systèmes d’IA avancés et légers, capables de fonctionner sur des appareils plus petits comme les smartphones.
Faits clés:
- L’algorithme d’IA compresse les informations telles que les génomes, permettant une grande efficacité.
- Il accomplit des tâches presque aussi efficacement qu’une IA de pointe entièrement formée.
- Les applications potentielles incluent l’exécution de grands modèles d’IA sur des appareils tels que les smartphones.
Source: CSHL
En un sens, chacun de nous commence sa vie prêt à agir. De nombreux animaux réalisent des exploits incroyables peu après leur naissance. Les araignées tissent des toiles. Les baleines nagent. Mais d’où viennent ces capacités innées ?
De toute évidence, le cerveau joue un rôle clé car il contient les milliards de connexions neuronales nécessaires au contrôle de comportements complexes. Cependant, le génome ne dispose que d’un espace pour une petite fraction de cette information.
Ce paradoxe a déconcerté les scientifiques pendant des décennies. Aujourd’hui, les professeurs Anthony Zador et Alexei Koulakov du Cold Spring Harbor Laboratory (CSHL) ont conçu une solution potentielle utilisant l’intelligence artificielle.
Lorsque Zador rencontre ce problème pour la première fois, il lui donne une nouvelle tournure. « Et si la capacité limitée du génome était précisément ce qui nous rend si intelligents ? » se demande-t-il. « Et si c’était une fonctionnalité, pas un bug ? »
En d’autres termes, peut-être pouvons-nous agir intelligemment et apprendre rapidement car les limites du génome nous obligent à nous adapter. Il s’agit d’une idée grande et audacieuse, difficile à démontrer. Après tout, nous ne pouvons pas étendre les expériences en laboratoire sur des milliards d’années d’évolution. C’est là qu’émerge l’idée de l’algorithme du goulot d’étranglement génomique.
En IA, les générations ne s’étendent pas sur des décennies. De nouveaux modèles naissent en appuyant simplement sur un bouton. Les postdoctorants de Zador, Koulakov et CSHL, Divyansha Lachi et Sergey Shuvaev, ont entrepris de développer un algorithme informatique qui regroupe des tas de données dans un package soigné, un peu comme notre génome pourrait compresser les informations nécessaires pour former des circuits cérébraux fonctionnels.
Ils testent ensuite cet algorithme sur des réseaux d’IA qui subissent plusieurs cycles de formation. Étonnamment, ils découvrent que le nouvel algorithme non entraîné effectue des tâches telles que la reconnaissance d’images presque aussi efficacement que l’IA de pointe. Leur algorithme tient même le coup dans les jeux vidéo comme Envahisseurs de l’espace. C’est comme s’il comprenait naturellement comment jouer.
Cela signifie-t-il que l’IA va bientôt reproduire nos capacités naturelles ?
« Nous n’avons pas atteint ce niveau », déclare Koulakov. « L’architecture corticale du cerveau peut contenir environ 280 téraoctets d’informations, soit 32 ans de vidéo haute définition. Nos génomes tiennent environ une heure. Cela implique qu’une technologie de compression de 400 000 fois ne peut pas encore correspondre.
Néanmoins, l’algorithme permet des niveaux de compression jusqu’à présent inédits en IA. Cette fonctionnalité pourrait avoir des utilisations impressionnantes dans le domaine technologique. Shuvaev, l’auteur principal de l’étude, explique : « Par exemple, si vous vouliez exécuter un grand modèle de langage sur un téléphone portable, un moyen [the algorithm] pourrait être utilisé est de déplier votre modèle couche par couche sur le matériel.
De telles applications pourraient signifier une IA plus évoluée avec des durées d’exécution plus rapides. Et dire qu’il n’a fallu que 3,5 milliards d’années d’évolution pour en arriver là.
À propos de cette actualité sur la recherche en IA, génétique et évolution
Auteur: Samuel Diamant
Source: CSHL
Contact: Samuel Diamond – CSHL
Image: L’image est créditée à Neuroscience News
Recherche originale : Accès libre.
« Codage d’une capacité innée à travers un goulot d’étranglement génomique» par Anthony Zador et al. PNAS
Abstrait
Codage d’une capacité innée à travers un goulot d’étranglement génomique
Les animaux naissent avec de vastes capacités comportementales innées, qui découlent de circuits neuronaux codés dans le génome.
Cependant, la capacité d’information du génome est d’un ordre de grandeur inférieure à celle nécessaire pour spécifier la connectivité d’un circuit cérébral arbitraire, ce qui indique que les règles codant pour la formation des circuits doivent passer par un « goulot d’étranglement génomique » lorsqu’elles passent d’une génération à l’autre. .
Ici, nous formulons le problème de la capacité comportementale innée dans le contexte des réseaux de neurones artificiels en termes de compression avec perte de la matrice de poids.
Nous constatons que plusieurs architectures de réseau standard peuvent être compressées de plusieurs ordres de grandeur, produisant des performances de pré-entraînement qui peuvent approcher celles du réseau entièrement formé.
Il est intéressant de noter que pour des problèmes de test complexes, mais pas simples, l’algorithme de goulot d’étranglement génomique capture également les caractéristiques essentielles du circuit, conduisant à un transfert amélioré de l’apprentissage vers de nouvelles tâches et ensembles de données.
Nos résultats suggèrent que la compression d’un circuit neuronal à travers le goulot d’étranglement génomique sert de régularisateur, permettant à l’évolution de sélectionner des circuits simples pouvant être facilement adaptés à des tâches importantes du monde réel.
Le goulot d’étranglement génomique suggère également comment les priorités innées peuvent compléter les approches conventionnelles d’apprentissage dans la conception d’algorithmes pour l’IA.