Защита сайта от парсинга
Парсеры забирают цены, каталог, тексты и контакты, нагружают сервер и отдают ваши данные конкурентам. Полностью закрыть публичный сайт от копирования нельзя, но можно сильно поднять цену парсинга и отсечь массовые простые парсеры.
Подключить бесплатно
Сначала проверить трафик
Как заметить парсинг
- Один адрес или сеть за час запрашивает сотни и тысячи страниц каталога подряд, без картинок и скриптов.
- Запросы идут из датацентров и облаков, а не от домашних провайдеров. Проверить адрес: проверка IP и User-Agent.
- User-Agent вроде python-requests, curl, Go-http-client или пустой, либо точная копия Chrome без языка браузера и cookie.
- Всплески нагрузки на карточки товаров без роста заказов.
Самый быстрый способ увидеть это: загрузить access-лог в анализатор, он покажет долю ботов и сети с самым большим числом запросов.
Что делает Bot Guard
- Блокирует известные парсеры и библиотеки по User-Agent (каталог из сотен тысяч строк).
- Отсекает запросы из сетей датацентров и облаков, откуда обычно запускают парсеры.
- Находит подделки: «Googlebot» с адреса, который не принадлежит Google.
- Видит повторяющееся поведение на разных сайтах сервиса: адрес, замеченный в парсинге на других проектах, получает пониженное доверие.
Что не нужно блокировать
- Настоящие поисковые роботы Яндекса, Google и Bing: без них сайт пропадёт из поиска. Они проверяются по обратному DNS.
- Нужные вам ИИ-краулеры: решите отдельно, пускать ли GPTBot и ClaudeBot. Правила для них собирает генератор robots.txt, допуск проверяет проверка допуска ботов.
- Ваши собственные выгрузки и партнёров: внесите в исключения.
Безопасный старт
Режим наблюдения покажет, какие парсеры ходят на ваш сайт, не блокируя никого. Для магазина это ещё и ответ на вопрос «кто копирует мои цены».
Честные ограничения
Парсер, который открывает настоящий браузер, идёт через домашние прокси и ведёт себя как человек, остановить сложно любой защите. Мы поднимаем цену такого парсинга, но не обещаем его невозможность. Если данные критичны, часть информации (оптовые цены, остатки) отдавайте только после входа в кабинет.
Вопросы и ответы
Можно ли полностью защититься от парсинга?
Нет. Публичную страницу можно скопировать вручную. Защита убирает массовый и простой парсинг и поднимает стоимость сложного.
Как отличить парсер от поискового робота?
По обратному DNS и диапазонам адресов: настоящий Googlebot приходит с адресов Google, а подделка только копирует User-Agent. Bot Guard делает эту проверку автоматически.
Помогает ли robots.txt?
Только от честных ботов. Парсеры не обязаны следовать robots.txt, поэтому нужна блокировка по признакам.
Что с ИИ-ботами, которые собирают тексты для обучения?
Можно разрешить или запретить каждого отдельно: генератор robots.txt для ИИ-ботов выдаёт правила, а защита блокирует тех, кто их не соблюдает.
