Les manuels prennent vie grâce au nouvel outil interactif d’IA

Avec un simple iPad, les élèves de n’importe quelle classe du monde pourraient bientôt réinventer les diagrammes ordinaires de n’importe quel manuel de physique, en transformant ces images statiques en simulations 3D qui courent, sautent ou tournent sur la page.

Ces nouveaux manuels vivants sont le fruit de l’imagination d’une équipe d’informaticiens dirigée par Ryo Suzuki de l’Université du Colorado à Boulder. La recherche est publié dans le cadre du Actes du 37e symposium annuel de l’ACM sur les logiciels et technologies d’interface utilisateur.

« Habituellement, ces diagrammes sont fixes. Nous devons imaginer ce qui se passe », a déclaré Suzuki, professeur adjoint à l’Institut et département d’informatique ATLAS. « Mais et si nous pouvions prendre n’importe quel diagramme statique de n’importe quel manuel et le rendre interactif ? »

Lui et ses collègues ont récemment remporté le prix du « meilleur article » pour leur travail au 37e Symposium annuel de l’ACM sur les logiciels et technologies d’interface utilisateur en octobre à Pittsburgh.

Imaginez ceci : vous ouvrez votre manuel de physique au lycée sur le dessin d’un skieur vacillant au sommet d’un tremplin. Le diagramme est censé vous enseigner des sujets tels que l’énergie cinétique, comme l’énergie d’un skieur dévalant une pente. Mais le skieur ne bouge jamais. Il est juste assis là.

Jusqu’à maintenant.

Pour la nouvelle étude, l’équipe de Suzuki a conçu un outil qui permet aux étudiants d’enregistrer ce diagramme avec leur iPad. Ensuite, après que les utilisateurs ont ajusté certains paramètres, l’outil s’appuie sur l’intelligence artificielle pour amener le skieur à se déplacer sur l’écran. Il dévale la colline, réussit le saut et s’envole. C’est également scientifiquement précis : les étudiants peuvent ajuster la friction de la neige, ce qui permet à leur skieur de zoomer plus rapidement ou plus lentement en quelques mouvements.

Suzuki voit le projet comme une opportunité de réinventer le manuel, en donnant aux apprenants la possibilité non seulement de lire sur la physique, mais aussi de voir des sujets tels que l’impulsion et les courants électriques en action.

« Nous pensons que l’avenir de l’éducation et de l’apprentissage devrait être plus interactif et personnalisé », a déclaré Suzuki, qui a lancé le projet en tant que chercheur à l’Université de Calgary au Canada.

C’est vivant !

Aditya Gunturu, premier auteur de l’étude, se souvient de ses propres années d’apprentissage de la physique. Il suivait des cours de sciences au lycée, pensant qu’il devait y avoir une meilleure façon de visualiser les sujets pour transmettre le mouvement.

« J’étais tellement frustré », a déclaré Gunturu, étudiant à la maîtrise en informatique à l’Université de Calgary. « Je voulais visualiser ces concepts. »

Il n’est pas seul : la mère de Gunturu est professeur de biologie en Inde et dessine souvent sur un tableau noir pour montrer, par exemple, aux élèves comment les cellules se divisent – ​​un phénomène que les manuels ne peuvent capturer que par instantanés.

L’invention de l’équipe, Augmented Physics, pourrait aider.

L’outil s’appuie sur un modèle appelé Segment Anything de la société technologique Meta. Il s’agit d’un outil de visualisation informatique qui permet aux utilisateurs de cliquer sur une photo pour isoler des objets particuliers : un chien ou peut-être un visage. De même, grâce à la physique augmentée, les élèves et les enseignants sélectionnent divers objets dans un diagramme, tels que le skieur et le tremplin de saut à ski, et attribuent des rôles à ces objets. L’IA applique ensuite des principes physiques de base, comme la force de gravité, pour faire bouger ces objets.

Cela fonctionne également pour plusieurs types de diagrammes différents. Ils comprennent des schémas optiques (afin que les élèves puissent simuler la façon dont un prisme réfracte la lumière du soleil, par exemple) et des circuits électriques (afin qu’ils puissent voir les courants circuler le long des fils). Dans un moment de boucle bouclée, les chercheurs ont testé leur outil sur certains des mêmes diagrammes du manuel de physique de Gunturu d’il y a des années.

Au-delà de la physique

L’équipe a également conçu son produit à partir des commentaires de vrais étudiants en physique et de professeurs de sciences. Un éducateur a été impressionné par la capacité de l’outil à aider les élèves à mener leurs « propres petites expériences ».

L’outil n’est pas encore parfait, a noté Suzuki. Jusqu’à présent, il ne peut transformer un tout nouveau diagramme en une simulation efficace que dans environ 60 % du temps. Mais l’équipe s’efforce d’améliorer ces taux de réussite.

En fin de compte, le chercheur et ses collègues aimeraient aller au-delà de la physique en utilisant une technologie similaire pour transformer n’importe quel diagramme de n’importe quel type de document en un monde 3D vivant dans lequel les étudiants peuvent entrer à l’aide de lunettes de réalité augmentée.

« C’est notre objectif : échapper à la 2D statique pour entrer dans le monde interactif de la 3D », a déclaré Suzuki.

La mère de Gunturu, quant à elle, a hâte qu’il conçoive un outil qui fonctionne sur les manuels de biologie.

« Ce serait son rêve devenu réalité », a-t-il déclaré.

Parmi les autres co-auteurs de la nouvelle étude figuraient Rubaiat Habib Kazi d’Adobe Research ; Nandi Zhang et Jarin Thundathil de l’Université de Calgary; et Yi Wen de la Texas A&M University.