Полезные и вредные боты: что мы увидели на 13 сайтах за 30 дней

Мы посмотрели, кто на самом деле ходит на сайты, которые защищает Bot Guard. За 30 дней (со 2 сентября по 2 октября 2026 года) на 13 сайтах мы увидели 8,3 млн запросов с распознанным User-Agent и 1,3 млн блокировок. Ниже: сколько среди них полезных ботов, сколько спорных и сколько вредных, откуда они приходят и чем отличаются сайты друг от друга. Это данные нашего сервиса, а не всего интернета, поэтому в конце мы честно перечислили ограничения.

Главное за минуту

• Поисковые роботы дают около 12,5% запросов (по заявленному User-Agent): Яндекс 4,5%, Google 4,1%, Apple 2,8%, Bing 1,1%, Baidu 0,2%.
• ИИ-краулеры дают 6,5% запросов (ClaudeBot, Amazonbot, GPTBot, Bytespider и другие), и разброс огромный: от 0,2% на одном сайте до 18,4% на другом.
• SEO-сервисы дают ещё 5,5% (Ahrefs 2,8%, Semrush 2,0%, MJ12 0,5%).
• Боты ходят круглосуточно. Самый тихий час по числу блокировок лишь в 1,3 раза спокойнее самого шумного, ночного затишья нет.
• Источники вредного трафика сосредоточены в облаках: среди блокировок с известным провайдером 52% приходится на AWS, 26% на Google Cloud, 14% на SEMrush, 7% на Tencent Cloud.
• 1946 IP-адресов дали по 100 и более блокировок каждый, и 2003 адреса ходили сразу на несколько сайтов, поэтому общий список блокировок работает лучше, чем защита каждого сайта по отдельности.

Как мы считали

Мы взяли данные Bot Guard за 30 дней по 13 сайтам клиентов и собственным проектам (тестовые сайты исключены). В счёт идут запросы, которые сервис получил от защищённых сайтов: каждый запрос записывается по User-Agent, а подозрительные ещё проверяются по IP, провайдеру, заголовкам и поведению. Данные агрегированы: ни названий сайтов, ни адресов посетителей в статье нет. Категорию бота мы определяли по заявленному User-Agent, поэтому в «поисковых роботах» могут быть и подделки под них. Подробности о проверке подлинности в разделе про ограничения.

Полезные боты: поисковые системы

Без поисковых роботов сайт не попадёт в выдачу, поэтому их нельзя блокировать по ошибке. По заявленному User-Agent на поисковые системы пришлось около 12,5% запросов:

• Яндекс: 4,5%
• Google (Googlebot и сервисные роботы): 4,1%
• Apple (Applebot): 2,8%
• Bing: 1,1%
• Baidu: 0,2%

Между сайтами картина разная. На одном из крупных сайтов Google дал 11,7% запросов, а Яндекс 11,1%. На другом Google всего 0,6%, Яндекс 2,9%. На третьем наоборот: Google 6,3% и Яндекс 1,1%. Это зависит от региона, тематики и того, в какой поисковой системе сайт сильнее. Общий вывод простой: поисковых роботов много, и каждого из них надо отличать от подделки по IP, а не по строке User-Agent.

Серая зона: ИИ-краулеры и SEO-сервисы

Эти боты не атакуют сайт, но и пользы владельцу приносят по-разному. Решение зависит от вашей цели.

ИИ-краулеры: 6,5% запросов

• ClaudeBot: 1,9%
• Amazonbot: 1,8%
• GPTBot и другие боты OpenAI: 1,5%
• Bytespider: 1,2%
• PerplexityBot, CCBot: меньше 0,1% каждый

Самое интересное в разбросе. На одном сайте ИИ-краулеры дали 18,4% всех запросов, на другом 9,7%, на третьем 3,5%, а на четвёртом всего 0,2%. На трёх сайтах из шести самых посещаемых ИИ-боты заходили чаще Googlebot, на остальных реже. «Среднего» сайта здесь нет: интерес ИИ-систем зависит от содержания проекта. Если вам нужно, чтобы ИИ-ассистенты цитировали сайт, закрывать их целиком не стоит. Как проверить, доступен ли ваш сайт ИИ-ботам, мы разбирали в исследовании GEO-индекса.

SEO-сервисы: 5,5% запросов

Ahrefs (2,8%), Semrush (2,0%), MJ12 (0,5%) и DotBot (0,2%) собирают данные для своих отчётов. Для владельца это нагрузка без прямой пользы, но разрешены они или нет, решает политика сайта. В базе Bot Guard такие роботы помечены как нежелательные, поэтому они лидируют среди причин блокировок («известный нежелательный User-Agent»: 55% всех блокировок). Это не значит, что они «вредные» в обычном смысле: это настройка по умолчанию.

Вредные боты: что нашли среди блокировок

Если убрать из блокировок подделки под поисковых роботов (о них в разделе про ограничения), состав причин такой:

• Известный нежелательный User-Agent: 54,7%
• Повторный заход заблокированного IP (бан на 24 часа): 32,3%
• Нет заголовка Accept-Language: 7,2%. Настоящий браузер его всегда шлёт, простой скрипт почти никогда.
• Ротация прокси (много разных IP с одинаковым поведением): 2,1%
• Отправка формы без перехода с вашего сайта: 1,5%
• User-Agent, не похожий на браузер: 1,1%
• Новый User-Agent из датацентра: 0,9%
• Всплеск запросов (поведенческий анализ): 0,2%

Откуда приходят

Из блокировок, где удалось определить провайдера, 52% пришлось на AWS, 26% на Google Cloud, 14% на SEMrush и 7% на Tencent Cloud. Почти весь «вредный» трафик идёт из облаков и датацентров: обычный человек так не ходит. При этом не весь облачный трафик плохой, там живут и легальные сервисы, поэтому одной проверки сети мало.

Много IP, мало запросов с каждого

Больше всего отдельных адресов дала причина «нет Accept-Language»: 62 тысячи IP, по 1,3 запроса в среднем. Это типичная картина ботнета: каждый адрес появляется один-два раза, чтобы не попасть под лимиты. Другие причины устроены иначе: 1946 адресов дали по 100 и более блокировок каждый. Всего за 30 дней мы заблокировали около 109 тысяч уникальных адресов.

Атаки на уязвимости

С 21 сентября, когда мы включили отдельное обнаружение, мы зафиксировали 725 попыток SQL-инъекций и XSS-проб на двух сайтах. Это немного в абсолютных числах, но каждая такая попытка шла в адресную строку и могла бы дойти до базы данных на сайте без защиты. Отдельно мы видели сканеры с узнаваемым User-Agent вроде «proverator.ru», на которые пришлось 128 тысяч запросов.

Когда ходят боты

Распределение по часам почти плоское: самый тихий час давал около 48,7 тысячи блокировок, самый шумный около 64,6 тысячи. Разница в 1,3 раза. Значит, «ночью можно не проверять» не работает: боты не спят, и защита нужна круглосуточно. Распределение по дням недели в наших данных не показательно: на него сильно повлиял один сайт с массовой атакой.

Что делать владельцу сайта

1. Не блокируйте поисковых роботов по User-Agent и не пропускайте их по нему. Подлинность Googlebot, YandexBot и Bing проверяется по IP и обратному DNS.
2. Решите политику для ИИ-краулеров. Если хотите попасть в ответы ассистентов, оставьте им доступ и следите, чтобы в robots.txt не стоял общий запрет.
3. Решите, нужны ли вам SEO-парсеры. Чаще всего их ограничивают, потому что они создают нагрузку без выгоды.
4. Блокируйте вредное на сервере, а не фильтрами в аналитике. Сети датацентров, подделки под поисковиков, ботнеты с ротацией IP и пробы уязвимостей лучше отсекать до попадания на страницы.
5. Проверьте свою Метрику. Бесплатный инструмент «Сколько ботов в вашей Метрике» покажет долю визитов из датацентров и подозрительные сети за 14–90 дней.

Хотите, чтобы это делал сервис, а вы не думали об этом? Подключите Bot Guard: он бесплатный, есть плагин для WordPress и модуль для 1С-Битрикс.

Ограничения исследования

• Выборка небольшая и неравномерная. Это 13 сайтов, и три из них дают 93% запросов. Данные показывают картину по нашим клиентам, а не по всему интернету.
• Категории определены по заявленному User-Agent. Подделки под поисковиков и ИИ-краулеров попадают в «свою» категорию, поэтому доли полезных ботов следует читать как верхнюю оценку.
• Долю подделок под поисковых роботов мы не публикуем. До 1 октября наша проверка подлинности из-за таймаутов DNS ошибочно относила часть настоящих краулеров (Apple, Baidu, Яндекс, Bing) к подделкам. Мы выявили это на выборке обратных DNS-записей, исправили проверку и пересчитаем долю подделок на новых данных.
• Блокировки считаются по событиям, а не по людям. Один бот может дать сотни событий.
• Атаки на уязвимости считаются только с 21 сентября. До этого отдельного обнаружения не было.

Частые вопросы

Нужна помощь с защитой сайта, политикой для ИИ-краулеров или разбором трафика? Это делает команда oWeb Solutions: мы разработали Bot Guard и подключаем его клиентам.