AdsBot-Google (+http://www.google.com/adsbot.html)
AdsBot-Google - это специализированный краулер, созданный компанией Google для автоматической проверки целевых страниц рекламных объявлений. Он используется для оценки качества и соответствия страниц политикам Google Ads, включая проверку контента, релевантности и безопасности. В отличие от основного Googlebot, AdsBot-Google фокусируется исключительно на рекламных лендингах и не индексирует страницы в обычной выдаче.
AdsBot-Google является официальным и безопасным краулером, ему можно доверять. Однако важно отличать его от поддельных User-Agent строк, которые могут имитировать этого бота для обхода защит или сбора данных. Основные риски связаны с возможной блокировкой легитимного бота, что может привести к отклонению рекламных кампаний. Рекомендуется проверять IP-адреса и проводить обратные DNS-запросы для подтверждения подлинности.
Для идентификации AdsBot-Google в коде сервера используйте проверку строки User-Agent на наличие 'AdsBot-Google' и домена 'google.com'. Пример на PHP: if (strpos($_SERVER['HTTP_USER_AGENT'], 'AdsBot-Google') !== false) { ... }. На уровне веб-сервера (Nginx, Apache) можно настроить отдельные правила доступа. Убедитесь, что файл robots.txt не запрещает доступ этому боту, если вы хотите, чтобы рекламные страницы проходили проверку.
Bot-guard.ru автоматически распознаёт и блокирует ботов вроде этого — без ручного ведения списков User-Agent. Подключение занимает несколько минут, сейчас сервис в открытом бесплатном тестировании.
Подключить бесплатно