NVIDIA предложила три подхода к созданию точных Vision ИИ-агентов с помощью

Рынок периферийного ИИ (edge ИИ) стремительно растёт. Согласно прогнозу Gartner, к 2028 году более двух третей корпоративных данных будет создаваться и обрабатываться вне дата-центров и облака. К 2029 году более двух третей всех предприятий в мире внедрят периферийный ИИ — против 10% в 2025 году. Однако, как отмечает та же Gartner, до 90% данных на периферии остаются неиспользованными. Превратить эти данные в полезные действия должны Vision ИИ-агенты — модели, способные анализировать видео в реальном времени, адаптироваться к условиям заводов, городов, складов и транспортных систем.

Разработчики таких агентов сталкиваются с тремя типовыми проблемами. Первая — плато точности из-за пробелов в данных. Например, модель инспекции может хорошо распознавать типовые царапины, но пропускать волосяные трещины, если они не были представлены в обучающей выборке. Вторая — нехватка экспертизы по дообучению: даже выявив проблему, команда должна подготовить размеченные данные, настроить конфигурацию, отслеживать эксперименты и оценивать улучшения. Третья — сложность сборки рабочего агента: нужно связать пайплайны видео, модели, метаданные, эмбеддинги, индексацию, поиск, оповещения и отчёты.

NVIDIA предлагает трёхкомпонентный подход. На уровне симуляции и генерации синтетических данных используется OpenUSD и NVIDIA Omniverse — фреймворк для описания, компоновки и повторного использования 3D-миров. Это позволяет моделировать разные условия освещения, погоды, трафика, ракурсов и редкие события. Затем идут agent skills (навыки агентов) и blueprints (шаблоны) NVIDIA Metropolis, которые дают готовые блоки для ключевых этапов: генерация изображений дефектов (Defect Image Generation), расширение сценариев через аугментацию видео, дообучение моделей через NVIDIA TAO, и превращение понимания видео в рабочие процессы через поиск и суммаризацию.

Пример из практики: компания Roboflow интегрирует Defect Image Generation skill и мировые модели NVIDIA Cosmos в свою платформу Vision ИИ. В бенчмарке с инженерами Corning по оптическому волокну модель, обученная всего на восьми реальных изображениях дефектов, достигла почти идеальной точности детекции — при этом значительно сократилась потребность в ежедневном ручном просмотре изображений. Таким образом, синтетические данные закрывают пробелы реальной выборки, а дообучение позволяет адаптировать модель под конкретный производственный участок.