Roblox dévoile Cube 3D : une IA open source pour générer des objets et des scènes 3D à partir d'invites de texte.

Plateforme de jeux en ligne et système de développement de jeux Roblox a annoncé la sortie et la disponibilité open source de Cube 3D, un modèle d'IA conçu pour générer des objets et des environnements 3D à partir d'invites de texte. 

Cube 3D servira de base à de nombreux outils d'IA que Roblox prévoit de développer à l'avenir, notamment des outils avancés de génération de scènes. Au fil du temps, il évoluera vers un modèle multimodal intégrant du texte, des images, des vidéos et d'autres formes d'entrée, et s'intégrera aux outils de création d'IA existants de Roblox. Ce modèle d'IA est capable de générer des modèles et des environnements 3D directement à partir de descriptions textuelles et, à l'avenir, également à partir d'images. 

Pour créer un monde 3D véritablement immersif, il est essentiel de concevoir des structures entièrement fonctionnelles, telles que des garages, des tribunes et des podiums pour les lignes de victoire. Pour y parvenir, Roblox s'est inspiré de modèles avancés entraînés sur des jetons de texte pour prédire le prochain jeton et former une phrase. L'innovation repose sur ce même principe. Roblox a développé la capacité de tokeniser des objets 3D et de reconnaître les formes comme des jetons, entraînant Cube 3D à prédire le prochain jeton de forme afin de créer des objets 3D complets. Étendu à la génération de scènes complètes, Cube 3D prédit la disposition et prédit de manière récursive les formes pour compléter cette disposition. Les utilisateurs peuvent affiner, développer des plugins ou entraîner Cube 3D à partir de leurs propres données pour répondre à leurs besoins spécifiques.

Roblox innove dans la création d'objets grâce à la tokenisation 3D 

Le principal défi technique consistait à associer du texte et des images à des formes 3D. L'innovation clé réside dans la tokenisation 3D, qui permet à la plateforme de représenter des objets 3D sous forme de tokens, de la même manière que le texte est représenté sous forme de tokens. Roblox peut ainsi prédire la forme suivante de la même manière que les modèles linguistiques prédisent le mot suivant dans une phrase.

Afin de réaliser la génération 3D, Roblox a développé une architecture unifiée pour la génération autorégressive, qui comprend la génération d'objets uniques, la réalisation de formes et la conception de mises en page multi-objets ou de scènes. Les transformateurs autorégressifs sont des réseaux neuronaux qui utilisent les entrées précédentes pour prédire le composant suivant. Cette architecture offre à la fois évolutivité et compatibilité multimodale, permettant au modèle de gérer différents types d'entrées (texte, visuel, audio et 3D). Roblox met ce modèle en open source et, dans une première phase, les créateurs pourront générer des objets 3D à partir d'invites textuelles. À l'avenir, l'objectif est de permettre aux créateurs de générer des scènes entières à partir de plusieurs types d'entrées.

Pour former le transformateur pré-entraîné génératif (GPTPour la création de formes, Roblox utilise des jetons de forme 3D discrets, alignés avec des invites textuelles. Cette approche innovante nous permettra de créer des scènes 3D entièrement jouables à l'avenir.

Roblox est une plateforme de jeux en ligne et un système de création de jeux qui permet aux utilisateurs de concevoir, développer et jouer à des jeux créés par d'autres utilisateurs. Elle offre un vaste environnement virtuel où chacun peut créer et partager des expériences 3D interactives, allant des jeux simples aux mondes virtuels complexes.