Больше 10 триллионов токенов предобучения и миллионы примеров для дообучения — такой объём данных для ИИ-агентов открыто опубликовала NVIDIA в проекте Nemotron. По словам Брайана Катандзаро, вице-президента по прикладным исследованиям в области глубокого обучения, построение агентного ИИ упирается в проблему данных: «Агент, который не может восстановиться после сбоя API или столкнулся с незнакомым рабочим процессом, — это не агент, а автодополнитель с инструментами».
Чтобы превратить автодополнитель в полноценного агента, необходимы данные, отражающие реальные сценарии: трассы разработки ПО, отказы инструментов, многошаговые рассуждения, поиск, безопасность, симуляцию пользователей и физическое взаимодействие. Однако такие данные часто находятся внутри компаний и составляют их коммерческую тайну. «Каждая компания строится вокруг секрета — рабочего процесса, корпуса текстов или паттернов клиентов, которых нет у конкурентов», — объясняет Катандзаро. Синтетические данные позволяют сохранить полезные сигналы, не раскрывая исходники.
Для того чтобы разработчики могли разобраться в десятках триллионов токенов, NVIDIA выпустила Nemotron Post-Training v3 Prompt Atlas — интерактивную визуальную карту. Каждая точка на карте — это образец запроса из коллекции, а цветовые наложения и фильтры позволяют сортировать данные по набору, этапу пайплайна, домену или использованию инструментов. Семантически похожие запросы группируются вместе, что помогает исследователям курировать данные, строить оценки и понимать поведение модели.
Prompt Atlas — интерактивная визуальная карта, позволяющая исследовать содержимое пост-тренировочных данных Nemotron.
Ещё один компонент — Nemotron-Personas, коллекция синтетических персонажей, отражающих локальную демографию. Как отмечают в NVIDIA, качество данных становится локальным: «Классификатор токсичности, обученный на англоязычных данных, может пропустить оскорбительные сообщения на корейском или японском, где агрессия часто кодируется через вежливость, а не лексику». Nemotron-Personas, построенный на инструментарии NeMo Data Designer, моделирует региональные демографические и географические статистики. По состоянию на момент публикации коллекция охватывает 10 стран и представляет более 2,4 миллиарда человек.
Открытые данные — не просто жест доброй воли, а прагматичный подход. NVIDIA указывает, что воспроизводимость и инспектируемость поведения агентов зависят от доступа к данным, а не только к весам. Синтетические данные с открытой лицензией — способ увеличить общий слой данных, от которого выигрывают все, не заставляя первую компанию жертвовать своим конкурентным преимуществом.
