Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)

SemrushBot 7 — краулер SEO-сервиса Semrush. Такие клиенты собирают данные о страницах и ссылках для аналитики.

Краулеры SEO-сервисов, такие как SemrushBot 7, обычно запускаются для аналитических целей. Они приходят на сайт, собирая данные о страницах и ссылках для дальнейшего анализа и оптимизации сайтов.

Bot Guard видел этот User-Agent на 41 сайте из 53 подключённых (77%). Первое появление в нашей статистике: 29.09.2023, последнее: 15.10.2026. Всего за это время зафиксировано 5 368 080 визитов. В среднем это около 4823 визитов в день за 1113 дней наблюдений.

По строке определяется: название клиента — SemrushBot версии 7. Часть токенов, например Mozilla/5.0, исторически есть почти у всех браузеров и ничего не говорят о реальном клиенте.

Вердикт: краулер или служебный бот. Основания: явных противоречий в строке нет; с 01.10.2026 защита Bot Guard сработала на этот User-Agent 22 690 раз на 6 сайтах (User-Agent из списка нежелательных ботов: 18 637; ip_blocked: 3 670; ротация IP (прокси-пул): 221; shared_reputation: 148; аномальная частота запросов: 14); запросы шли из сетей: SEMrush (22 455), Google Cloud (1); в статистике 41 сайта, 5 368 080 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

Для владельца сайта такой бот обычно бесполезен: он собирает данные для чужого сервиса и нагружает сервер при частом обходе. В счётчиках на JavaScript его визиты, как правило, не видны.

Чтобы понять, настоящий ли это SemrushBot, сверьте адрес запроса с данными сервиса Semrush, посмотрите, запрашивает ли клиент robots.txt и с какой скоростью обходит страницы. Парсеры-подделки обычно игнорируют robots.txt и бьют по сайту быстрее.

Запросы этого клиента легко найти в журнале по подстроке «SemrushBot». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "SemrushBot" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*SemrushBot 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'SemrushBot') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Робот, соблюдающий правила, читает robots.txt до обхода страниц. Чтобы закрыть сайт целиком или только один раздел, добавьте правило с названием клиента. robots.txt рекомендательный: подделки и недобросовестные боты его игнорируют, для них нужна блокировка на сервере.

# закрыть весь сайт
User-agent: SemrushBot
Disallow: /

# закрыть только раздел
User-agent: SemrushBot
Disallow: /private/

# разрешить всё
User-agent: SemrushBot
Allow: /

Бот SEO-сервиса обычно не нужен владельцу сайта. Ограничьте его скорость или запретите обход в robots.txt, а если он не слушается, закройте доступ на уровне сервера.