OpenAI расширяет команду подрядчиков, которые вручную читают запросы пользователей ChatGPT и оценивают ответы модели. По информации 404 Media, речь идёт о сотнях контрактников, а в промптах иногда содержатся чувствительные личные данные. Пользователи ChatGPT, а это более 900 млн человек, в большинстве не догадываются, что их диалоги могут просматривать живые люди.

Цель таких команд — улучшать ответы ChatGPT. Контрактники оценивают и критикуют сгенерированные ответы, а внутренние документы показывают, что их учат, как модель не должна очеловечивать себя и как быть менее угодливой. Сикофантия — излишняя льстивость — стала заметной проблемой для OpenAI: чрезмерно угодливая модель 4o, по данным судебных исков, отчасти привела к нескольким случаям самоубийств среди пользователей.

КомпанияИспользует ручную проверкуПодтверждение
OpenAIДа404 Media
AnthropicДа404 Media

Подрядчики не видят имён пользователей, и OpenAI утверждает, что старается удалять персональные данные до того, как промпты попадут к ревьюерам. Однако компания признаёт, что чувствительные детали всё же могут просачиваться. Это создаёт риск для приватности: люди часто используют ChatGPT как терапевта, профессионального ассистента или цифрового друга, делясь интимными подробностями своей жизни.

OpenAI утверждает, что удаляет персональные данные перед передачей промптов, но признаёт, что чувствительная информация может просачиваться.

Image: Spumoni Cooperative for 404 Media.
Image: Spumoni Cooperative for 404 Media. · Источник: 404 Media

Новость разрушает представление о том, что модели улучшаются только за счёт массового парсинга интернета, таланта дорогих инженеров или мощности новых архитектур. Важная и часто упускаемая часть — внешние подрядчики, которых платят за то, чтобы они снова и снова читали и оценивали ответы ChatGPT на реальные запросы. Один из сотрудников, работающих с промптами, на вопрос, знают ли пользователи о чтении их чатов, ответил: «Нет. Не думаю, что они представляют, что какой-то подрядчик где-то анализирует их разговоры».

Anthropic подтвердила 404 Media, что тоже использует ручную проверку для улучшения своих моделей. Это означает, что практика не уникальна для OpenAI и, вероятно, распространена среди крупных разработчиков ИИ. Для пользователей это сигнал: даже если сервис бесплатный, данные могут обрабатываться людьми. Для отрасли — напоминание, что за улучшением моделей стоит не только автоматизация, но и человеческий труд, часто невидимый и низкооплачиваемый.