Владельцы сайтов всё чаще сталкиваются с нагрузкой от ИИ-ботов. Одни из них, например GPTBot от OpenAI или ClaudeBot от Anthropic, безостановочно скачивают контент для обучения языковых моделей. Другие, вроде ChatGPT-User или PerplexityBot, приходят по прямой ссылке от пользователя. Третьи — DeepSeek и Grok — маскируются под людей через резидентные прокси, обходя стандартные защиты.
Автор сервиса eByeBots Владимир провёл исследование на основе логов своих клиентов и выделил два принципиально разных сценария. Для бизнеса, продающего сложные продукты (SaaS, отели, уникальные товары), ИИ-боты могут стать источником «горячих» лидов. Например, пользователь Perplexity ищет альтернативу блокировщику рекламы — и чат-бот рекомендует eByeBots со ссылкой. Посетитель приходит уже готовым к покупке. Для информационных сайтов (блоги, рецепты, новости) боты — чистый паразитизм: они выкачивают текст, показывают его в своём чате, а площадка не получает ни трафика, ни дохода от рекламы.
| Бот | Тип доступа | Маскировка | Соблюдение robots.txt |
|---|---|---|---|
| GPTBot | Фоновый краулинг | Нет | Да |
| ChatGPT-User | По ссылке от пользователя | Нет | Да |
| ClaudeBot | Фоновый краулинг | Нет | Частично |
| PerplexityBot | Поиск в реальном времени | Нет | Да |
| DeepSeek | Маскировка | Резидентные прокси | Игнорирует |
| Grok | Маскировка | Резидентные прокси | Игнорирует |
Технически доступ ботов делится на три категории: прямой переход по ссылке (пользователь просит проанализировать URL), фоновый краулинг (бот сканирует сайт целиком) и поиск в реальном времени (Perplexity, Grok). Блокировать по User-Agent бесполезно — многие боты подменяют строку. Более надёжный способ — использовать белые и чёрные списки по IP-адресам на основе официальных пулов (например, у ChatGPT и Perplexity они есть). Но DeepSeek и Grok используют динамические резидентные прокси, поэтому их сложно отсечь. Эксперимент автора с robots.txt показал, что не все боты соблюдают правила: DeepSeek и Grok игнорируют запреты, а Claude выполняет их не полностью.
ChatGPT, Perplexity и DeepSeek могут приводить целевых клиентов, если сайт продаёт уникальные товары или услуги.
Выбор стратегии — блокировать или разрешать — зависит от бизнес-модели. Если сайт зарабатывает на рекламе или информации, ботов лучше блокировать. Если на прямых продажах или лидогенерации — стоит открыть доступ для «честных» ботов и настроить мониторинг источников. Владимир отмечает, что его собственный сервис eByeBots получает значимую долю трафика от Perplexity и DeepSeek, поэтому он не блокирует их, а лишь контролирует нагрузку.
