Внутренние меморандумы команды Meta Superintelligence Labs, на которые ссылается Reuters, описывают новую инициативу Model Capability Initiative. Специальное программное обеспечение будет в фоновом режиме фиксировать движения курсора, клики и нажатия клавиш американских сотрудников компании во время работы в определённых приложениях и на рабочих сайтах. Дополнительно система делает периодические скриншоты, чтобы обеспечить контекст для разметки данных.

За этим решением стоит конкретная техническая проблема. Современные большие языковые модели хорошо справляются с текстом, но плохо воспроизводят то, как человек физически взаимодействует с графическим интерфейсом: куда двигается мышь перед кликом, как пользователь раскрывает выпадающее меню, в каком порядке переключается между полями формы. Именно эти паттерны нужны ИИ-агентам — системам, которые должны самостоятельно выполнять задачи на компьютере вместо человека. Представитель Meta Энди Стоун объяснил Reuters: «Если мы создаём агентов, которые помогают людям выполнять повседневные задачи на компьютере, наши модели нуждаются в реальных примерах того, как мы их используем». Он также подчеркнул, что собранные данные не будут применяться для оценки эффективности сотрудников.

География программы ограничена США намеренно. Распространить аналогичный трекинг на европейских сотрудников Meta не может: законодательство большинства стран ЕС жёстко регулирует, в каком объёме работодатель вправе отслеживать действия персонала. Это не первый раз, когда европейские нормы становятся барьером для Meta в сборе данных для ИИ: ранее компания столкнулась с претензиями регуляторов из-за схемы, при которой пользователи социальных сетей должны были явно отказываться от использования их контента в обучении моделей, а не давать на это согласие.

Представитель Meta Энди Стоун заявил, что данные не будут использоваться для оценки работы сотрудников.

Meta будет записывать движения мыши и нажатия клавиш сотрудников для обучения ИИ
· Источник: Ars Technica

Подобный подход к сбору обучающих данных — через наблюдение за реальными действиями людей — не уникален для Meta. Ряд компаний уже использует записи экранов и логи взаимодействий для создания датасетов, имитирующих работу оператора за компьютером. Однако масштаб корпоративного трекинга, который предлагает Meta, и его институциональное оформление через внутренние меморандумы выделяют эту инициативу на общем фоне. Сотрудники фактически становятся источником разметки данных просто в ходе обычного рабочего дня — без дополнительных усилий с их стороны, как говорится в самом меморандуме.