Gaisbot/3.0 (robot@gais.cs.ccu.edu.tw; http://gais.cs.ccu.edu.tw/robot.php)
Строка User-Agent идентифицирует автоматизированного веб-краулера (бота), а не обычный браузер пользователя.
Данный агент - академический веб-краулер с указанными контактами. Его можно допускать для индексации публичного контента, но следует контролировать частоту запросов через robots.txt, чтобы избежать излишней нагрузки на сервер.
Bot-guard.ru показывает реальную картину трафика и блокирует вредоносных ботов, не трогая живых пользователей. Сейчас — бесплатно на время открытого тестирования.
Подключить бесплатно