MJ12bot: User-Agent и проверка подлинности

Самые частые строки User-Agent

Период 05.09.2026 — 05.10.2026. Страница строки показывает её разбор и «паспорт»: на чём основан вердикт.

Как проверить, настоящий ли MJ12bot

Строку User-Agent бота может написать любой скрипт, поэтому не блокируйте и не пропускайте бота только по ней. Сверяйте IP-адрес с данными владельца бота (Majestic: списки диапазонов и способ проверки) и проверяйте поведение: частоту запросов и то, какие страницы он открывает. Для проверки адреса используйте проверку User-Agent и IP, а разобрать свой лог можно в анализаторе access-лога.

Как запретить или разрешить MJ12bot

robots.txt

User-agent: MJ12bot
Disallow: /

Чтобы, наоборот, явно разрешить обход, используйте Allow: /. Правило работает только для ботов, которые соблюдают robots.txt.

nginx (отказ по User-Agent)

if ($http_user_agent ~* "MJ12bot") {
    return 403;
}

Это блокирует и настоящего бота, и подделку, которая подписалась его именем. Если нужно пропускать настоящего и отсекать подделки, проверка должна идти по IP: так работает защита от ботов Bot Guard.

Сгенерировать правила для MJ12bot (robots.txt, nginx, .htaccess) · Проверить, допускает ли ваш сайт MJ12bot

Вопросы и ответы

Как запретить MJ12bot в robots.txt?
Добавьте в robots.txt блок «User-agent: MJ12bot» и строку «Disallow: /». Добросовестные боты соблюдают это правило, но оно добровольное: подделки и скрипты его игнорируют.

Как проверить, что это настоящий MJ12bot?
Строка User-Agent ничего не доказывает, её может написать любой скрипт. Подлинность подтверждает IP-адрес: сверьте его с данными владельца бота или используйте бесплатную проверку User-Agent и IP на bot-guard.ru.

Что будет, если заблокировать MJ12bot?
Бот перестанет обходить сайт. Для краулеров, которые собирают данные для сервисов и поисковых систем, это может убрать сайт из их выдачи или ответов, поэтому сначала решите, нужен ли вам этот канал.