Главная Инструменты Охота на ботов

Охота на ботов

Десять посетителей зашли на сайт. По карточке решите: пропустить человека, пропустить полезного бота или заблокировать вредного. После каждого ответа покажем, по каким признакам это видно.

Что нужно знать: человека и полезного бота (поисковый робот, мониторинг) пропускают, вредного бота (парсер, спам, сканер, скликивание) блокируют. Ошибиться можно в обе стороны: пропустить вредного или заблокировать клиента.

Игра учебная, упрощённая: у каждого посетителя пять-шесть признаков. Данные никуда не отправляются.

Как отличают ботов в реальной защите

Строка браузера (User-Agent) подделывается за секунду, поэтому её проверяют вместе с остальным. Каталог разобранных строк: база User-Agent.
Адрес и сеть. Домашний провайдер или датацентр. Для поисковых роботов обязательна проверка обратным DNS: официальные домены ботов.
Поведение. Скорость, ровные паузы, порядок страниц, мышь и прокрутка, время на сайте.
Признаки браузера. Нулевое окно, флаг webdriver, отсутствие языка: признаки headless-браузеров.

Сложные случаи вроде подбора паролей через домашние прокси ловят только по поведению сети адресов вместе. Подробнее: чем боты вредят сайту и как работает защита Bot Guard.

Вопросы и ответы

Как отличить бота от человека по User-Agent?

Одной строки мало: её легко подделать. Надёжнее смотреть на совокупность признаков: подтверждается ли адрес обратным DNS (для поисковых роботов), из какой сети пришёл запрос (домашний провайдер или датацентр), передан ли язык браузера, как быстро и в каком порядке открываются страницы, двигалась ли мышь.

Почему нельзя блокировать всех из датацентров?

Через датацентры работают не только боты: VPN, корпоративные прокси, мониторинг и настоящие поисковые роботы. Сеть повышает подозрение, но решение принимается по совокупности признаков, иначе заденете живых клиентов.

Что такое полезный бот?

Робот, который приносит пользу владельцу сайта: поисковые системы (Googlebot, YandexBot, bingbot), мониторинг доступности, проверка ссылок. Блокировать их нельзя, но нужно убедиться, что это настоящие роботы, а не подделка под них.

Насколько игра близка к реальной защите?

Это упрощённая учебная модель: у карточки пять-шесть признаков. Реальная защита считает десятки признаков, использует репутацию адреса на других сайтах и историю поведения. Но логика та же, и ошибки в игре типичны для ошибок в ручных правилах.