Roblox представляет Cube 3D: ИИ с открытым исходным кодом для создания 3D-объектов и сцен из текстовых подсказок

Онлайн игровая платформа и система разработки игр Roblox объявили о выпуске и доступности с открытым исходным кодом Cube 3D — модели искусственного интеллекта, предназначенной для создания трехмерных объектов и сред на основе текстовых подсказок. 

Cube 3D послужит основой для многих инструментов ИИ, которые Roblox планирует разработать в будущем, включая расширенные инструменты генерации сцен. Со временем он превратится в мультимодальную модель, включающую текст, изображения, видео и другие формы ввода, и будет интегрироваться с существующими инструментами создания ИИ Roblox. Модель ИИ способна генерировать 3D-модели и среды непосредственно из текстовых описаний, а в будущем и из изображений. 

Чтобы создать по-настоящему захватывающий 3D-мир, необходимо спроектировать полностью функциональные структуры, такие как гаражи, в которые можно въехать, трибуны, на которых можно посидеть, и подиумы для победных полос. Чтобы добиться этого, Roblox черпал вдохновение из передовых моделей, которые обучаются на текстовых токенах, чтобы предсказывать следующий токен и формировать предложение. Инновация основана на этом же принципе. Roblox разработал возможность токенизировать 3D-объекты и распознавать формы как токены, обучая Cube 3D предсказывать следующий токен формы, чтобы строить полные 3D-объекты. При расширении до полной генерации сцены Cube 3D предсказывает макет и рекурсивно предсказывает формы для завершения этого макета. Пользователи могут настраивать, разрабатывать плагины для или обучать Cube 3D, используя собственные данные для удовлетворения своих конкретных потребностей.

Roblox внедряет инновации в создание объектов с помощью 3D-токенизации 

Основной технической проблемой было связывание текста и изображений с 3D-формами. Ключевым нововведением является 3D-токенизация, которая позволяет платформе представлять 3D-объекты в виде токенов, подобно тому, как текст представляется в виде токенов. Это позволяет Roblox предсказывать следующую форму так же, как языковые модели предсказывают следующее слово в предложении.

Для достижения 3D-генерации Roblox разработал унифицированную архитектуру для авторегрессивной генерации, которая включает в себя генерацию отдельных объектов, завершение форм и проектирование многообъектных или сценических макетов. Авторегрессивные трансформаторы — это нейронные сети, которые используют предыдущие входные данные для прогнозирования следующего компонента. Эта архитектура поддерживает как масштабируемость, так и мультимодальную совместимость, что позволяет модели обрабатывать различные типы входных данных (текст, визуальные данные, аудио и 3D). Roblox открывает исходный код этой модели, и на этом начальном этапе создатели смогут генерировать 3D-объекты из текстовых подсказок. В будущем он нацелен на то, чтобы создатели могли генерировать целые сцены, используя несколько типов входных данных.

Для обучения генеративного предобученного трансформатора (GPT) для создания формы Roblox использует дискретные 3D-фигурные жетоны, совмещая их с текстовыми подсказками. Этот новый подход позволяет нам создавать полностью играбельные 3D-сцены в будущем.

Roblox — это игровая онлайн-платформа и система создания игр, которая позволяет пользователям проектировать, разрабатывать и играть в игры, созданные другими пользователями. Она предоставляет обширную виртуальную среду, где люди могут создавать и делиться интерактивными 3D-впечатлениями, начиная от простых игр и заканчивая сложными виртуальными мирами.