Вставьте строку User-Agent — мгновенно узнаете, что это за браузер или бот, и встречалась ли эта строка в базе bot-guard.
Примеры: Googlebot Обычный Chrome curl python-requests
Каждый браузер и почти каждый скрипт при обращении к сайту отправляет строку User-Agent — текстовое описание того, кто именно делает запрос. По ней можно приблизительно понять, какой это браузер, операционная система и версия, либо распознать известного бота — например, поисковый краулер Googlebot или инструмент вроде curl и python-requests.
Проблема в том, что User-Agent — это просто заголовок HTTP-запроса, который отправляет сам клиент. Ничто не мешает написать в нём что угодно: скрипт может представиться «Googlebot», хотя не имеет к Google никакого отношения. Такие подделки — обычное дело у спам-ботов, парсеров цен конкурентов и инструментов накрутки статистики: им выгодно выглядеть как «хороший» поисковый бот, чтобы их не заблокировали.
Именно поэтому проверка выше показывает два разных сигнала: что говорит о строке сама база bot-guard.ru (реально ли этот User-Agent проходил проверку боевого трафика), и что можно понять по формальным признакам самой строки. Первое — куда надёжнее, но полноценно подтвердить личность бота можно только проверкой IP-адреса запроса, а не текста заголовка — подробнее в разделе официальных доменов поисковых ботов.