Защита сайта от ботов

Зачем защищать сайт от ботов

• Нагрузка и деньги. Парсеры и сканеры забирают ресурсы сервера и платный трафик хостинга.
• Испорченная аналитика. Боты искажают отказы, глубину и конверсию в Метрике. Как это проверить: разбор Метрики.
• Пустые рекламные клики. Часть платного трафика из Директа приходит от автоматов: как найти.
• Спам и взлом. Фейковые заявки, перебор паролей, поиск уязвимостей: как остановить спам-заявки.

Как работает Bot Guard

1. Ваш сайт при каждом запросе спрашивает Bot Guard: «пускать?». При сбое проверки сайт продолжает работать без неё.
2. Bot Guard смотрит на User-Agent (в базе более 600 000 строк с классификацией), IP и сеть (датацентры), язык браузера, частоту запросов и репутацию адреса на других сайтах сервиса.
3. Настоящие Googlebot и Яндекс проверяются по обратному DNS и пропускаются. Подделки под поисковых и ИИ-ботов блокируются.
4. Ботам возвращается 403. Сомнительным посетителям показывается проверка в браузере. Все решения попадают в журнал в личном кабинете.

Решения основаны на признаках, поэтому защита снижает долю ботов, но не обещает отсечь всех: боты на резидентных прокси по IP не отличимы от людей.

Как подключить

• PHP-сайт: строка кода в начале сайта (инструкция в кабинете после регистрации).
• WordPress: плагин Bot Guard.
• 1С-Битрикс: модуль для Битрикс.
• nginx: шлюз через auth_request.

Безопасный старт: включите режим наблюдения. Защита будет записывать, кого заблокировала бы, но никого не заденет. Через неделю по журналу видно, нет ли ложных срабатываний, и можно включать блокировку. Так мы подключали наши собственные сайты, цифры там настоящие.

Чем это отличается от других способов

• Ручные правила в .htaccess или nginx закрывают известные User-Agent, но список надо вести самому, и подделки он не ловит. fail2ban блокирует уже после того, как боты зашли.
• Капча (SmartCaptcha и др.) мешает людям и не защищает от парсинга без форм.
• CDN-защита решает другую задачу: чем DDoS-защита отличается от защиты от ботов.

Подробная таблица по четырём вариантам: Bot Guard, Cloudflare, SmartCaptcha и fail2ban: сравнение.

Вопросы и ответы

Блокирует ли Bot Guard Googlebot и Яндекс?

Нет. Настоящие поисковые роботы проверяются по обратному DNS и диапазонам адресов и проходят. Блокируются подделки: запрос с User-Agent «Googlebot», но с адреса, не принадлежащего Google.

Что видит бот, когда его блокируют?

Ответ 403 без содержимого страницы. Если запрос не очевиден (например, нет признаков браузера), посетителю может быть показана проверка в браузере, и настоящий человек её проходит.

Можно ли сначала посмотреть, никого ли не заденет защита?

Да. Есть режим наблюдения: данные о визитах уходят в Bot Guard, но решение не применяется, никто не блокируется. По журналу видно, кого защита заблокировала бы. Так мы сами включали защиту на oweb-solutions.ru.

Какие сайты можно подключить?

Сайты на PHP (строка кода), WordPress (плагин), 1С-Битрикс (модуль) и любые сайты за nginx (запросы на проверку через auth_request).

Видят ли боты, что сайт под защитой?

Они видят только ответ 403. Решение принимается на стороне Bot Guard по User-Agent, IP, языку браузера, поведению и репутации адреса.

Защита заменит Cloudflare или Яндекс SmartCaptcha?

Нет, это другой уровень. Bot Guard отсекает автоматический трафик до того, как он нагружает сайт и портит статистику. От DDoS большой мощности нужен отдельный сервис. Разница разобрана в статье о DDoS-защите и защите от ботов.

Начните с бесплатной проверки

Не уверены, что у вас проблема? Проверьте Метрику, access-лог или отдельный User-Agent и IP. Если ботов много, подключите защиту. Нужна помощь с внедрением: студия oWeb Solutions.