Headless-браузеры и боты в Метрике: какие признаки автоматики видны в данных

Коротко: Яндекс.Метрика не отдаёт строку User-Agent и пометку «робот», но отдаёт название браузера, размер окна, часовой пояс и сеть IP. По ним можно найти часть ботов: headless-браузеры, окно нулевого размера, часовой пояс UTC у посетителей из стран без UTC и визиты из датацентров. Проверить свой счётчик можно в бесплатном инструменте.

Привычный способ искать ботов, это смотреть на User-Agent. В Метрике такой возможности нет: мы проверили Logs API на счётчике нашего сайта (ym:s:userAgent и ym:s:isRobot недоступны ни для визитов, ни для хитов). Но это не значит, что искать нечего. Ниже: какие данные доступны, какие из них что-то значат и что мы увидели на реальном счётчике.

Что отдаёт Logs API Метрики

Для каждого визита доступны, в частности:

• IP-адрес (последнее число скрыто, например 43.173.177.xxx);
• название и версия браузера, операционная система, тип устройства;
• размер экрана и размер окна браузера;
• часовой пояс и язык браузера, включены ли JavaScript и cookie;
• страна и город, источник трафика, длительность, число страниц, отказ;
• данные рекламы: кампания, площадка, фраза.

Строки User-Agent, пометки «робот» и точного IP в выгрузке нет. Поэтому по Метрике мы работаем с сетями /24 и данными браузера.

Какие признаки автоматики мы используем

1. Визит из датацентра или облака

Сеть IP принадлежит серверному провайдеру (AWS и подобные). Обычные посетители так на сайты почти не ходят.

2. Headless-браузер

Название браузера содержит headless, phantom, puppeteer, playwright или selenium: так называют браузеры, которыми управляют программы. Например, headlesschrome.

3. Окно браузера нулевого размера

Метрика сообщила ширину окна 0, и визит закончился отказом за 0–1 секунду. Так выглядит фоновая загрузка страницы без человека. Бывает и безобидная причина: встроенный браузер некоторых приложений.

4. Часовой пояс UTC вне стран с UTC

Часовой пояс браузера нулевой, а IP из страны, где такого пояса нет (не Великобритания, Португалия, Ирландия или Исландия), и визит с отказом. Серверные браузеры по умолчанию живут в UTC. Но так же выглядит и VPN.

5. Сеть /24 с массой отказов

Из одной сети /24 пришло не меньше 20 визитов, и 80% из них закончились отказом за 0–1 секунду, при этом провайдер неизвестен. Это сигнал об автоматическом трафике, но сеть может оказаться жилой.

Что сам по себе не признак: отказ за 0 секунд

Кажется очевидным: бот заходит и сразу уходит. Но на счётчике нашего сайта за 30 дней отказов за 0–1 секунду было около 31% от всех визитов, и по браузерам, языкам и часовым поясам они почти не отличались от остальных. Значит, значительная часть таких визитов это обычные люди, которые закрыли вкладку. Поэтому отказ мы учитываем только вместе с другими признаками.

Что мы увидели на реальном счётчике

Мы проверили счётчик нашего сайта за 30 дней: около 2 400 визитов.

• Из датацентров пришло всего 5 визитов, все с одной сети AWS, все с часовым поясом UTC и языком en.
• Визитов с нулевым размером окна и отказом за 0–1 секунду нашлось 25, и 22 из них пришли из рекламы: одна страница, около секунды, в основном Android-браузеры.
• С часовым поясом UTC вне UTC-стран нашлось 14 визитов, среди них два headlesschrome.

Вывод: сетевая проверка ничего заметного не нашла, но признаки браузера выделили около 40 визитов (около 1,7% трафика), и значительная часть из них из рекламы. Это наблюдение по одному небольшому счётчику, а не общая статистика: другие сайты могут выглядеть иначе. И каждый такой визит мы называем подозрительным, а не «ботом»: причиной могут быть встроенные браузеры приложений и VPN.

Как проверить свой счётчик

1. Откройте «Сколько ботов в вашей Метрике» и нажмите «Войти через Яндекс» (доступ только на чтение).
2. Выберите счётчик (если их много, пользуйтесь поиском над списком) и период.
3. Подождите 1–3 минуты, пока Метрика подготовит выгрузку.
4. В разборе откройте вкладку «Почему подозрительные»: там причины с числом визитов, объяснением и примерами визитов (время, источник, страна, браузер, ширина окна, часовой пояс, сеть).
5. Если у вас идёт реклама, посмотрите вкладку «Реклама»: подозрительные визиты по кампаниям, площадкам РСЯ и фразам.

Чего Метрика не покажет

• Ботов, которые не выполняют код счётчика: в Метрике их просто нет. Их видно в серверном логе: как найти ботов в access-логе nginx.
• Ботов за домашними (резидентными) прокси с обычным браузером: признаки браузера у них в порядке.
• User-Agent и точный IP: их Метрика не отдаёт. Это видит только защита на стороне сайта, например Bot Guard.

Подробнее о рекламном трафике: боты в Яндекс.Директе: как найти подозрительные клики.

Частые вопросы

Можно ли в Метрике увидеть User-Agent визитов?

Нет. Logs API не отдаёт ни строку User-Agent, ни признак робота. Доступны только название и версия браузера, ОС, устройство и параметры окна.

Что такое headless-браузер?

Это браузер без окна, которым управляет программа: он используется для автоматизации, тестов и парсинга. Если в данных видно headlesschrome или selenium, за визитом, скорее всего, стоит программа.

Почему окно нулевого размера подозрительно?

Обычный браузер сообщает размер окна. Нулевая ширина вместе с отказом за доли секунды характерна для фоновой загрузки страницы. Но так бывает и во встроенных браузерах приложений, поэтому мы называем такой визит подозрительным, а не накрученным.

Метрика сама фильтрует ботов?

Яндекс отсеивает часть известных роботов, но не всех. Остаётся трафик, который стоит проверять самостоятельно, как описано выше.

Это бесплатно?

Да. Вход через Яндекс, права только на чтение, отчёт показывается сразу после разбора выгрузки.