Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ShapBot/0.1.0

ShapBot 0.1.0 — автоматический клиент, владелец которого по строке не указан. Обычно такие клиенты приходят на сайты для автоматического обхода страниц без участия человека.

Обычно такие клиенты запускаются для автоматизации процессов на сайтах, например, для сбора информации или выполнения определенных задач без участия человека. Они могут приходить на сайт, чтобы выполнить аутентификацию, обновление данных или выполнение других служебных функций.

Bot Guard видел этот User-Agent на 13 сайтах из 53 подключённых (25%). Первое появление в нашей статистике: 31.05.2026, последнее: 14.10.2026. Всего за это время зафиксировано 234 272 визита. В среднем это около 1710 визитов в день за 137 дней наблюдений.

По строке определяется: название клиента — ShapBot версии 0.1.0; движок — WebKit 537.36. Часть токенов, например Mozilla/5.0 и KHTML, like Gecko, исторически есть почти у всех браузеров и ничего не говорят о реальном клиенте.

Вердикт: краулер или служебный бот. Основания: явных противоречий в строке нет; с 01.10.2026 защита Bot Guard сработала на этот User-Agent 3 858 раз на 4 сайтах (User-Agent из списка нежелательных ботов: 3 856; ротация IP (прокси-пул): 2); запросы шли из сетей: Google Cloud (3 856); в статистике 13 сайтов, 234 272 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

Влияние такого бота зависит от того, как часто он ходит и что запрашивает. Он может нагружать сервер и засорять журнал, а посетителей на сайт обычно не приводит.

Чтобы отличить бота от человека, сверьте несколько признаков: наличие заголовка Accept-Language, выполнение JavaScript, куки между запросами, скорость обхода и принадлежность IP датацентру. По одному признаку вывод делать нельзя.

Запросы этого клиента легко найти в журнале по подстроке «ShapBot». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "ShapBot" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*ShapBot 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'ShapBot') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Робот, соблюдающий правила, читает robots.txt до обхода страниц. Чтобы закрыть сайт целиком или только один раздел, добавьте правило с названием клиента. robots.txt рекомендательный: подделки и недобросовестные боты его игнорируют, для них нужна блокировка на сервере.

# закрыть весь сайт
User-agent: ShapBot
Disallow: /

# закрыть только раздел
User-agent: ShapBot
Disallow: /private/

# разрешить всё
User-agent: ShapBot
Allow: /

Определите по логам, зачем бот ходит на сайт. Если нагрузка заметна или он собирает данные, закройте его правилом в robots.txt, а при игнорировании правил блокируйте по IP.