Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/152.0.7977.82 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot 2.1 — поисковый краулер Google. Такие клиенты обычно обходят страницы сайтов для добавления их в поисковый индекс.

Google запускает клиенты для краулинга, чтобы обновлять и обрабатывать информацию для своего поискового индекса. Эти клиенты обычно посещают сайты в целях сбора данных и анализа содержимого для последующего индексирования.

Bot Guard видел этот User-Agent на 10 сайтах из 53 подключённых (19%). Первое появление в нашей статистике: 05.09.2026, последнее: 04.10.2026. Всего за это время зафиксировано 17 398 визитов. В среднем это около 580 визитов в день за 30 дней наблюдений.

По строке определяется: название клиента — Googlebot версии 2.1; операционная система — Android 6.0.1; тип устройства — смартфон или планшет на Android; движок — WebKit 537.36. Часть токенов, например Mozilla/5.0 и KHTML, like Gecko, исторически есть почти у всех браузеров и ничего не говорят о реальном клиенте.

Вердикт: краулер или служебный бот. Основания: явных противоречий в строке нет; в статистике 10 сайтов, 17 398 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

Поисковый робот обходит сайт регулярно: без этого новые и изменённые страницы не появятся в выдаче. Нагрузка обычно небольшая, а вот подделки под такого робота могут её заметно увеличивать, поэтому важно сверять адрес запроса.

Достоверный признак — IP-адрес, а не строка User-Agent. Сверьте его с официальной документацией компании Google или подтвердите обратным и прямым DNS-запросом. Если адрес не из сетей компании Google, это подделка, даже когда строка выглядит идеально.

Проверка занимает две команды. Сначала по IP запроса получаем имя хоста, оно должно оканчиваться на .googlebot.com или .google.com. Затем по этому имени получаем IP обратно, адрес обязан совпасть с исходным. Если хотя бы одна проверка не прошла, запрос идёт не от Google.

# 1. обратный запрос: имя хоста по IP
host 203.0.113.10
# 203.0.113.10 -> pointer crawler-example.googlebot.com

# 2. прямой запрос: IP по имени хоста
host crawler-example.googlebot.com
# адрес в ответе должен быть 203.0.113.10

Запросы этого клиента легко найти в журнале по подстроке «Googlebot». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "Googlebot" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*Googlebot 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'Googlebot') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Робот, соблюдающий правила, читает robots.txt до обхода страниц. Чтобы закрыть сайт целиком или только один раздел, добавьте правило с названием клиента. robots.txt рекомендательный: подделки и недобросовестные боты его игнорируют, для них нужна блокировка на сервере.

# закрыть весь сайт
User-agent: Googlebot
Disallow: /

# закрыть только раздел
User-agent: Googlebot
Disallow: /private/

# разрешить всё
User-agent: Googlebot
Allow: /

Разрешите доступ роботу, подтверждённому по DNS, и проверьте в robots.txt, что важные разделы не закрыты. Подделки с этим же User-Agent блокируйте по IP.