Летом 2026 года сайты российских брокеров столкнулись с резким ростом активности ботов, собирающих данные для обучения ИИ. По данным Servicepipe, доля скраперов в общем ИИ-трафике выросла с 7% в июне до 68,82% в августе. В абсолютных числах: если в июне на скраперов пришлось 420 тыс. запросов, то в августе — уже 5,5 млн. Общий объем ИИ-трафика за тот же период увеличился с 6 млн до 8 млн запросов.
Лидерами по сбору информации стали боты двух американских компаний — Meta* и Anthropic. На долю Meta* пришлось 55,14% запросов скраперов (более 3 млн), на Anthropic — 27,78% (более 1,5 млн). В июне эти показатели были значительно скромнее: 7,32% (30 тыс. запросов) и 12,26% (51 тыс.) соответственно. Доля GPTBot от OpenAI оказалась меньше 10% (8,83%), китайский Bytespider от ByteDance — 6,36%, TikTokSpider — 0,53%.
| Компания | Доля запросов скраперов в августе | Доля запросов скраперов в июне |
|---|---|---|
| Meta* | 55,14% (более 3 млн) | 7,32% (30 тыс.) |
| Anthropic | 27,78% (более 1,5 млн) | 12,26% (51 тыс.) |
| OpenAI | 8,83% | — |
| ByteDance (Bytespider) | 6,36% | — |
| TikTokSpider | 0,53% | — |
Скраперы массово скачивают страницы и извлекают тексты, таблицы и другие данные, которые затем используются для обучения моделей или формирования наборов данных. Заместитель генерального директора Servicepipe Даниил Щербаков связывает активность Meta* с подготовкой к запуску новых моделей Llama*. Боты выкачивают «впрок» массивы текстового контента — аналитику, новости, экспертные статьи, описания продуктов, чтобы заложить в будущие модели финансовый контекст, отраслевую терминологию и логику работы биржевого рынка.
Число запросов скраперов увеличилось с 420 тыс. в июне до 5,5 млн в августе.
На фоне роста скраперов доля других категорий ботов сократилась. Ассистенты, которые обращаются к отдельной странице для ответа на конкретный вопрос пользователя, в августе заняли 8,78% ИИ-трафика (около 700 тыс. запросов) против 33% в июне (около 2 млн). Краулеры, регулярно обходящие сайты для создания поискового индекса, снизили долю с 60% (3,6 млн запросов) до 22,4% (около 1,8 млн).
Помимо Meta* и Anthropic, на сайтах российских брокеров замечены скапер Google-Extended, пополняющий обучающие сеты для моделей семейства Gemini, CCBot датасета Common Crawl и бот американского НИИ AI2, собирающие данные для научных исследований, а также Bytespider и TikTokSpider — для обучения рекомендательных алгоритмов и рекламных систем.
Российские разработчики применяют те же способы сбора и подготовки данных, однако у американских компаний масштаб больше: они обходят сайты по всему миру, тогда как отечественные сосредоточены преимущественно на русскоязычном сегменте, пояснил технический директор Veai Владислав Кудинов. Россия — крупнейшая страна, и для нейросетей Meta* и Anthropic важно понимать не только свой родной язык или языки своей группы, отметил директор департамента информационной безопасности «Цифра брокера» Сергей Зорин.
Сайты брокеров привлекательны для сбора данных тем, что содержат много структурированной, регулярно обновляемой информации о финансовых инструментах, тарифах, условиях торговли и аналитике, считает руководитель проекта ZipLime в «Финаме» Вячеслав Арбузов. Такие данные позволяют моделям лучше понимать финансовую сферу и отвечать на запросы пользователей, связанные с инвестициями.
* Meta признана в России экстремистской организацией и запрещена на территории страны. Llama создана компанией Meta* ИИ.
