На конференции CVPR компания NVIDIA анонсировала новые навыки для агентов физического ИИ, предназначенные для ускорения разработки автономных транспортных средств, робототехники и систем компьютерного зрения. Ключевой элемент — модель Cosmos 3, открытая frontier-модель для
Для исследователей автономных транспортных средств (AV) представлены навыки, автоматизирующие реконструкцию сцен из данных флота и генерацию синтетических сценариев. Neural Reconstruction преобразует видеоданные в редактируемые 3D-сцены, пригодные для симуляции. InstantNuRec выполняет быструю реконструкцию дорожных сцен в формате 3D Gaussian без поэтапной оптимизации. Эти технологии используют NVIDIA Omniverse NuRec, Harmonizer и HiGS. Для масштабирования обучения с подкреплением NVIDIA анонсировала AlpaGym — open-source фреймворк замкнутого цикла, работающий на тысячах GPU, и OmniDreams — условную генеративную мировую модель с фотореалистичным рендерингом камер в реальном времени.
| Навык/Продукт | Область | Описание |
|---|---|---|
| Neural Reconstruction | AV | Реконструкция 3D-сцен из данных флота |
| InstantNuRec | AV | Быстрая 3D-реконструкция сцен без поэтапной оптимизации |
| AlpaGym | AV/Robotics | Open-source фреймворк для RL в замкнутом цикле |
| OmniDreams | AV | Генеративная мировая модель с фотореалистичным рендерингом |
| Alpamayo 2 Super | AV | 32B VLA-модель для полного стека управления |
| Defect Image Generation | Vision AI | Генерация редких дефектов на поверхностях |
| VSS Blueprint | Vision AI | Извлечение инсайтов из видео и автоматизация оценки |
Также представлена самая мощная открытая driving foundation model NVIDIA — Alpamayo 2 Super с 32 миллиардами параметров. Это VLA-модель (vision language action), способная рассуждать, планировать и действовать во всем стеке управления, нацеленная на безопасное L4-развертывание.
Для AV-исследователей доступны навыки Neural Reconstruction и InstantNuRec для преобразования данных флота в 3D-сцены и синтетические сценарии.
В области компьютерного зрения анонсированы навыки Metropolis. Defect Image Generation создает примеры редких дефектов на разных поверхностях, комбинируя Isaac Sim, Cosmos 3 и OSMO для генерации контролируемых аномалий. Видеоаналитические навыки VSS Blueprint, TAO и Video Augmentation позволяют извлекать инсайты из больших объемов видео и автоматизировать цикл обучения и оценки моделей.