Компания World Labs, основанная в 2024 году исследовательницей ИИ Фэй-Фэй Ли, представила движок R2S2R, который превращает одну реальную задачу робота в тысячи контролируемых симуляций для обучения управляющих моделей. По заявлению компании, главное препятствие для развертывания роботов — не архитектура моделей, а огромный объем опыта, необходимый для надежной работы. Реальные данные дороги и трудны для контроля, а онлайн-видео не покрывают систематически весь спектр объектов, физических условий и сценариев отказа.
Движок захватывает роботов, датчики, окружающую среду и демонстрации задач, а затем воссоздает их как интерактивный виртуальный мир, который не только выглядит как оригинал, но и ведет себя физически так же. World Labs сочетает генеративные мировые модели с симуляцией, ориентированной на задачи роботов. Из одной реальной задачи система генерирует тысячи вариаций, изменяя освещение, положение и количество объектов, окружение, физические свойства вроде трения и угол камеры. Для проверки точности компания запускает одну и ту же последовательность действий в симуляции и реальности параллельно, сравнивая наблюдения, движения объектов и результаты.
Примеры включают жесткие, подвижные и деформируемые объекты: прокладку кабеля, вставку эластичного конца кабеля в отверстие и упаковку коробки двумя руками. Управляющие модели обучаются в симуляции, а затем переносятся на реальных роботов. Одной из тестовых платформ был ALOHA — открытая двухрукая конструкция из Стэнфорда, управляемая через кукловождение с помощью двух меньших контрольных рук. Стоимость установки составляет долю от коммерческих систем, а все чертежи публичны, что делает ALOHA эталонной платформой в исследованиях робототехники. По данным World Labs, модели работали по одному часу на четырех дополнительных роботизированных платформах без вмешательства человека. Задачи варьировались от обматывания шнура питания вокруг холодильника двумя руками до точного перемещения пробирок и отделения тонких объектов, таких как маркеры или карандаши, из плотной кучи.
Модели, обученные в симуляции, работали на реальных роботах без вмешательства человека в течение часа на четырех платформах, включая ALOHA.
Симуляция может заменить реальное оборудование при оценке политик. World Labs утверждает, что разработка роботов отстает от языковых моделей, потому что оценка управляющих моделей в основном требовала тестов на реальном оборудовании. Хорошая симуляция не обязана давать такие же показатели успеха, как реальность. Важно, отвечает ли она на те же вопросы: где модель терпит неудачу, какая версия лучше и переносятся ли улучшения на физического робота. Команда проверила это на двухрукой передаче куба между руками робота ALOHA. По словам World Labs, симуляция воспроизвела как пограничные случаи, когда робот едва захватывал куб за край, так и соответствующие неудачные попытки. Для разных типов моделей, включая GR00T N1.6 и π₀.₅, и стадий обучения ранжирование моделей в симуляции и реальности в основном совпадало. Это сохранялось как для известных, так и для ранее не встречавшихся позиций куба. Каждая контрольная точка оценивалась с помощью двух тысяч симулированных и 100 реальных запусков. Политики, которые лучше работают в симуляции, также лучше работают на оборудовании, и ранжирование остается стабильным.
Разработчики могут отсеивать слабые версии моделей в симуляции и экономить дорогостоящие аппаратные тесты для наиболее перспективных кандидатов. Симулятор занимает центральное место в более широкой стратегии World Labs. Компания связывает эти результаты со своей таксономией мировых моделей, где симулятор — ключевой элемент, превращающий мир в место, где программные агенты могут действовать, учиться и тестироваться. Компания проводит параллели с автономным вождением, где некоторые успешные системы уровня 3 и 4 обучаются на смеси реальных и симулированных данных. Долгосрочная цель World Labs — масштабировать интеллект роботов, масштабируя миры, в которых они учатся.
Насколько хорошо эти результаты переносятся на более сложные среды, другие типы роботов и менее контролируемые повседневные ситуации, остается открытым вопросом. World Labs была основана в 2024 году исследовательницей ИИ Фэй-Фэй Ли для создания моделей с пространственным интеллектом, понимающих трехмерный физический мир. Ранняя система генерировала проходимые 3D-среды из отдельных фотографий. Недавно компания привлекла один миллиард долларов венчурного капитала для расширения своих мировых моделей на робототехнику и науку. Движок R2S2R — первое конкретное применение этого видения в робототехнике. Это исследование вписывается в более широкую дискуссию о роли мировых моделей в робототехнике. Международная исследовательская группа недавно попыталась дать единое определение мировой модели, четко отделив их от чистых генераторов видео. Смежная область — World Action Models, которые связывают прогнозы о мире с действиями.
