Googlebot: User-Agent и проверка подлинности

Операционные системы

Самые частые строки User-Agent

Период 05.09.2026 — 05.10.2026. Страница строки показывает её разбор и «паспорт»: на чём основан вердикт.

Как проверить, настоящий ли Googlebot

Настоящий Googlebot подтверждается обратным и прямым запросом DNS: по IP-адресу из лога определяется имя хоста, оно должно заканчиваться на googlebot.com или google.com, а прямой запрос по этому имени должен вернуть тот же IP. Строка User-Agent при этом ничего не доказывает. Подробности: как проверить, настоящий ли это Googlebot. Проверить свой IP можно в проверке User-Agent и IP.

Как запретить или разрешить Googlebot

Осторожно: Googlebot это поисковый робот. Если закрыть его от обхода, сайт может пропасть из поиска. Запрещать стоит только подделки под него, а не настоящего бота (как их отличить, написано выше).

robots.txt

User-agent: Googlebot
Disallow: /

Чтобы, наоборот, явно разрешить обход, используйте Allow: /. Правило работает только для ботов, которые соблюдают robots.txt.

nginx (отказ по User-Agent)

if ($http_user_agent ~* "Googlebot") {
    return 403;
}

Это блокирует и настоящего бота, и подделку, которая подписалась его именем. Если нужно пропускать настоящего и отсекать подделки, проверка должна идти по IP: так работает защита от ботов Bot Guard.

Проверить, допускает ли ваш сайт Googlebot

Вопросы и ответы

Как запретить Googlebot в robots.txt?
Добавьте в robots.txt блок «User-agent: Googlebot» и строку «Disallow: /». Добросовестные боты соблюдают это правило, но оно добровольное: подделки и скрипты его игнорируют.

Как проверить, что это настоящий Googlebot?
Строка User-Agent ничего не доказывает, её может написать любой скрипт. Подлинность подтверждает IP-адрес: сверьте его с данными владельца бота или используйте бесплатную проверку User-Agent и IP на bot-guard.ru.

Что будет, если заблокировать Googlebot?
Страницы сайта перестанут обходиться этим поисковым роботом, и сайт может пропасть из соответствующей поисковой системы. Блокируйте только подделки по IP, а не настоящего бота.