Главная Юзер-агенты Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot/2.1 (+http://www.google.com/bot.html)

Анализ User-Agent

Разбор по частям

Часть	Значение	Анализ
`Googlebot/2.1`	Google Search Bot	Официальный поисковый робот Google. Версия 2.1 — с 2005 года.
`(+http://www.google.com/bot.html)`	Ссылка на документацию	Официальная страница: google.com/bot.html

ВАЖНО: Это официальный Googlebot, используемый для индексации веб-страниц в Google Search. ОБЯЗАТЕЛЬНО пускать — влияет на SEO.

Итог: Это 100% официальный Googlebot. Используется для:

Сканирование страниц
Обновление индекса Google
Проверка мобильной адаптации
Анализ структурированных данных

Характеристики Googlebot

Параметр	Значение
Тип	Googlebot/2.1
Владелец	Google LLC
IP-диапазоны	`66.249.64.0/19`, `64.233.160.0/19` и др.
JS	НЕ выполняет (только HTML)
Частота	1–10 запросов/день (зависит от сайта)
SEO	Критически важен

Стоит ли пускать?

Критерий	Оценка	Рекомендация
Легитимность	100% (при валидном IP)	Проверить IP через Google Crawlers
SEO	ОБЯЗАТЕЛЬНО	Блокировка = выпадение из поиска
Риск	Низкий	Если IP валидный — безопасно

Проверка легитимности

Проверить IP: nslookup <IP> → должен быть googlebot.com или google.com
Обратный DNS: host <IP> → *.googlebot.com
Google Search Console: раздел "Сканирование" → "Статистика сканирования"

Рекомендация по обработке (Nginx)

# 1. Разрешить только с IP Google
geo $googlebot {
    default 0;
    66.249.64.0/19 1;
    64.233.160.0/19 1;
    64.233.173.0/24 1;
    66.249.80.0/20 1;
    # ... полный список: https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers
}

# 2. Пускать Googlebot
if ($http_user_agent ~* "Googlebot" && $googlebot = 1) {
    access_log /var/log/nginx/googlebot.log;
    add_header X-Robots-Tag "noarchive";
}

# 3. Блокировать фейки
if ($http_user_agent ~* "Googlebot" && $googlebot = 0) {
    return 403;
    access_log /var/log/nginx/fake-googlebot.log;
}

# 4. robots.txt
User-agent: Googlebot
Allow: /

Рекомендуется:
• ПУСКАТЬ — только если IP в диапазонах Google
• БЛОКИРОВАТЬ — если IP не от Google (фейк)
• Логировать в отдельный файл
• Добавить в robots.txt: Allow: /

ПУСКАТЬ — ЕСЛИ IP ОТ GOOGLE.
Это официальный Googlebot для поиска.
БЛОКИРОВАТЬ — если IP не Google → фейк.