Расшифровка User-Agent и IP: это бот или человек?

Как отличить бота от человека по User-Agent

Каждый браузер и почти каждый скрипт при обращении к сайту отправляет строку User-Agent — текстовое описание того, кто именно делает запрос. По ней можно приблизительно понять, какой это браузер, операционная система и версия, либо распознать известного бота — например, поисковый краулер Googlebot или инструмент вроде curl и python-requests.

Проблема в том, что User-Agent — это просто заголовок HTTP-запроса, который отправляет сам клиент. Ничто не мешает написать в нём что угодно: скрипт может представиться «Googlebot», хотя не имеет к Google никакого отношения. Такие подделки — обычное дело у спам-ботов, парсеров цен конкурентов и инструментов накрутки статистики: им выгодно выглядеть как «хороший» поисковый бот, чтобы их не заблокировали.

Именно поэтому проверка выше показывает два разных сигнала: что говорит о строке сама база bot-guard.ru (реально ли этот User-Agent проходил проверку боевого трафика), и что можно понять по формальным признакам самой строки. Первое — куда надёжнее, но полноценно подтвердить личность бота можно только проверкой IP-адреса запроса, а не текста заголовка — подробнее в разделе официальных доменов поисковых ботов.

Из чего состоит строка User-Agent

Строка читается слева направо. Пример: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36

• Mozilla/5.0 — историческая метка совместимости, есть у всех браузеров и ничего не говорит.
• Windows NT 10.0; Win64; x64 — система в скобках. «NT 10.0» стоит и на Windows 10, и на Windows 11.
• AppleWebKit/537.36 (KHTML, like Gecko) — наследие; Chrome и браузеры на его движке всегда пишут 537.36.
• Chrome/115.0.0.0 — версия. Нули в конце намеренные: значим только номер до первой точки.
• Safari/537.36 — тоже метка совместимости, к Safari не относится.

Строки с Android 10; K, arm_64, YaApp или wv и опечатки вроде Mozlila разобраны с примерами в статье расшифровка User-Agent: Chrome 115, Redmi, Яндекс Браузер. Статистика по версиям: Chrome, Firefox, Safari.