AdsBot-Google (+http://www.google.com/adsbot.html)
Вот подробный разбор User-Agent строки `AdsBot-Google (+http://www.google.com/adsbot.html)` в виде списка на русском языке: --- ### 1. **AdsBot-Google** - **Официальный бот Google** для **проверки качества рекламы**. - **Не индексирует контент** — только **рекламные объявления**. - **Проверяет**: - Доступность landing page - Соответствие политики Google Ads - Скорость загрузки, мобильную адаптивность - Запрещённый контент (вирусы, фишинг) ### 2. **(+http://www.google.com/adsbot.html)** - **Обязательная ссылка** на документацию (по стандарту robots.txt). - **Официальная страница Google**: → `http://www.google.com/adsbot.html` → Подтверждает легитимность и правила работы. --- ### Итоговая расшифровка: | Параметр | Значение | |------------------------|---------| | **Агент** | **AdsBot-Google** | | **Владелец** | **Google LLC** | | **Назначение** | **Проверка качества рекламы (Google Ads)** | | **Тип** | **Рекламный аудит-бот** | | **Индексация** | **НЕТ** — не попадает в поиск | | **Документация** | `http://www.google.com/adsbot.html` | | **Маскировка** | **Нет** (прямое имя) | | **Статус** | **100% легитимен** | --- ### Технические особенности: | Характеристика | Значение | |---------------|---------| | **IP-адреса** | Диапазоны Google: `66.249.*`, `216.239.*`, `74.125.*` | | **PTR-записи** | `*.googlebot.com`, `*.google.com` | | **Заголовки** | `Accept: text/html`, `User-Agent` как выше | | **HTTP-метод** | **GET** (только landing page) | | **Частота** | **1–10 запросов/день** (на активные кампании) | | **JavaScript** | **Выполняет** (проверяет динамику) | | **Мобильный/десктоп** | **Оба** — имитирует устройства | --- ### Это **официальный бот Google** — **не блокировать!** | Признак легитимности | ✅ | |---------------------|----| | Официальная документация Google | ✅ | | Указана ссылка `+http://...` | ✅ | | IP из диапазона Google | ✅ | | Используется в Google Ads | ✅ | > **Блокировка = приостановка рекламы!** > Google может **отклонить объявления**, если AdsBot не может проверить страницу. --- ### Пример реального запроса: ``` GET /landing-page.html HTTP/1.1 Host: example.com User-Agent: AdsBot-Google (+http://www.google.com/adsbot.html) Accept: text/html,application/xhtml+xml Accept-Encoding: gzip, deflate Connection: keep-alive ``` --- ### Рекомендации | Действие | Обоснование | |--------|------------| | **Разрешить полностью** | Легитимен, критичен для рекламы | | **Добавить в robots.txt** | Для порядка | | **Кешировать ответы** | Ускорит проверку (304 Not Modified) | | **Исключить из аналитики** | Не пользователь | | **Не блокировать по IP/UA** | Официальный бот | --- ### Пример `robots.txt` для AdsBot: ```txt User-agent: AdsBot-Google Allow: / User-agent: * Disallow: /admin/ ``` > **Примечание**: `AdsBot-Google-Mobile` — отдельный бот для мобильной рекламы. --- ### Как отличить от подделки? | Признак | Настоящий | Подделка | |--------|----------|---------| | **IP** | Диапазоны Google | Любой другой | | **PTR** | `*.googlebot.com` | Нет | | **Ссылка в UA** | Точная `+http://www.google.com/adsbot.html` | С ошибками | | **Запросы** | Только landing page (GET) | Любые URL | --- ### Вывод: - **Это официальный бот Google AdsBot** - **Проверяет качество рекламных страниц** - **100% легитимен — разрешать и кешировать!** - **Не нагружает сервер** - **Критичен для работы Google Рекламы** - **Исключать из статистики посещений**