Les mondes générés par l’IA incluraient une physique réaliste, des mouvements de caméra et des comportements d’objets, le tout à partir de commandes textuelles. Le système crée ensuite des vidéos et des données de lancer de rayons physiquement précises que les robots peuvent utiliser pour l’entraînement.
Exemples de mondes « 4D dynamiques et physiques » créés par Genesis à partir d’invites textuelles.
Ce système basé sur des invites permet aux chercheurs de créer des environnements de test de robots complexes en tapant des commandes en langage naturel au lieu de les programmer manuellement. « Traditionnellement, les simulateurs nécessitent une énorme quantité d’efforts manuels de la part des artistes : ressources 3D, textures, dispositions de scène, etc. Mais chaque composant du flux de travail peut être automatisé », a écrit Fan.
Grâce à son moteur, Genesis peut également générer des mouvements de personnages, des scènes 3D interactives, des animations faciales, etc., ce qui peut permettre la création d’actifs artistiques pour des projets créatifs, mais peut également conduire à des jeux et des vidéos générés par l’IA plus réalistes à l’avenir. , construisant un monde simulé en données au lieu d’opérer sur l’apparence statistique des pixels comme avec un modèle de diffusion par synthèse vidéo.
Exemples de génération de mouvements de personnages de Genesis, à l’aide d’une invite qui comprend : « Un Wukong miniature tenant un bâton à la main sprinte sur une surface de table pendant 3 secondes, puis saute dans les airs et balance son bras droit vers le bas pendant l’atterrissage. »
Bien que le système génératif ne fasse pas encore partie des solutions actuellement disponibles coder sur GitHubl’équipe prévoit de le publier dans le futur.
Former aujourd’hui les robots de demain (avec Python)
Genesis reste en développement actif sur GitHuboù l’équipe accepte les contributions de la communauté.
La plate-forme se distingue des autres simulateurs du monde 3D pour la formation robotique en utilisant Python à la fois pour son interface utilisateur et son moteur physique de base. D’autres moteurs utilisent C++ ou CUDA pour leurs calculs sous-jacents tout en les encapsulant dans des API Python. Genesis adopte une approche Python d’abord.
Notamment, la nature non exclusive de la plate-forme Genesis permet à tout chercheur de bénéficier gratuitement de simulations de formation de robots à grande vitesse grâce à de simples commandes Python qui fonctionnent sur des ordinateurs ordinaires dotés de matériel disponible dans le commerce.
Auparavant, l’exécution de simulations de robots nécessitait une programmation complexe et du matériel spécialisé, explique Fan dans son article annonçant Genesis, et cela ne devrait pas être le cas. « La robotique devrait être une initiative majeure appartenant à toute l’humanité », a-t-il écrit.