Как отличить настоящего Googlebot, YandexBot или bingbot от подделки. IP-адреса ботов компании меняют без предупреждения — надёжнее проверять по обратному DNS-домену (PTR), который остаётся стабильным годами. Именно так bot-guard.ru верифицирует ботов в реальном времени на каждом запросе.
| User-Agent | Компания | Ожидаемый домен (PTR) |
|---|---|---|
Googlebot |
*.googlebot.com
*.google.com
Тот же домен используют Googlebot-Image, Googlebot-News, Googlebot-Video, AdsBot-Google.
|
|
bingbot |
Microsoft Bing |
*.search.msn.com
BingPreview проверяется тем же доменом.
|
YandexBot |
Яндекс |
*.yandex.ru
*.yandex.net
*.yandex.com
YandexImages, YandexVideo, YandexDirect, YandexMobileBot — тот же набор доменов.
|
DuckDuckBot |
DuckDuckGo |
*.duckduckgo.com
|
Baiduspider |
Baidu |
*.baidu.com
|
Applebot |
Apple |
*.applebot.apple.com
|
Mail.RU_Bot |
Mail.ru |
*.mail.ru
|
Slurp |
Yahoo! |
*.crawl.yahoo.net
|
Многие сайты специально разрешают поисковым краулерам то, что запрещено обычным посетителям: обход без CAPTCHA, отсутствие лимитов на частоту запросов, доступ без авторизации. Это разумно — нельзя тормозить Google и терять позиции в выдаче. Но именно эта поблажка и эксплуатируют злоумышленники: если бот представится Googlebot-ом, часть систем защиты просто пропустит его, даже не проверив, откуда он на самом деле пришёл.
На практике это значит: сайты, которые проверяют ботов только по строке User-Agent (без проверки IP), фактически оставляют открытую дверь — злоумышленнику достаточно скопировать нужный заголовок. Таблица выше и есть тот самый способ закрыть эту дверь: сверять не то, что бот говорит о себе, а то, откуда он реально пришёл.
1. Обратный DNS-запрос по IP — узнаём домен:
nslookup 66.249.66.1
2. Прямой запрос по полученному домену — результат должен совпасть с исходным IP:
nslookup crawl-66-249-66-1.googlebot.com
Если оба шага совпали — это настоящий бот. Если PTR-записи нет, или домен не из таблицы выше, или прямой запрос вернул другой IP — перед вами подделка.