Googlebot, YandexBot, bingbot и другие краулеры — как распознать настоящего бота
🔍 Проверить свою строку User-Agent — бот или человек? · Официальные домены поисковых ботов
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (…
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://w…
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, …
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, …
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gec…
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)