Генератор robots.txt для ИИ-ботов и SEO-парсеров: GPTBot, ClaudeBot

Правила для 1 бота

1. robots.txt

Добавьте в начало файла robots.txt в корне сайта. Уже существующие правила не трогайте.

User-agent: ClaudeBot
Disallow: /

2. nginx (отказ 403 по User-Agent)

Блокирует бота, который называет себя в User-Agent, даже если он не читает robots.txt. После правки: nginx -t и перезагрузка конфигурации.

# в блок http { } (один раз)
map $http_user_agent $bg_blocked_bot {
    default 0;
    "~*(ClaudeBot)" 1;
}

# в блок server { } сайта
if ($bg_blocked_bot) {
    return 403;
}

3. Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (ClaudeBot) [NC]
RewriteRule .* - [F,L]

Что эти правила не делают. robots.txt добровольный: скрипты, парсеры и подделки его игнорируют. Блокировка по User-Agent обходится сменой строки. Если бот притворяется браузером или Googlebot, нужна проверка по IP и поведению (защита Bot Guard). Проверить, что получилось, можно в проверке допуска ботов.

Кого закрывать, а кого нет

Поисковые боты (Googlebot, YandexBot, bingbot) не закрывайте: сайт пропадёт из поиска.
ИИ-краулеры обучения (GPTBot, ClaudeBot, CCBot) закрывают, если не хотят отдавать материалы для обучения моделей. На поиск это не влияет.
Поисковые ИИ-боты (OAI-SearchBot, PerplexityBot) отвечают за появление сайта в ответах ассистентов. Закроете, и вас там не будет.
SEO-сервисы (AhrefsBot, SemrushBot, MJ12bot) приносят нагрузку без прямой пользы владельцу; решение зависит от вашей политики.

Сколько таких ботов заходит на ваш сайт на самом деле, покажет анализ access-лога, а что сейчас разрешает ваш robots.txt: проверка допуска ботов.

Вопросы и ответы

Как закрыть сайт от GPTBot и ClaudeBot?

Добавьте в robots.txt блоки «User-agent: GPTBot» и «User-agent: ClaudeBot» со строкой «Disallow: /». Генератор выше собирает такие блоки по вашему выбору. Это работает для ботов, которые соблюдают robots.txt.

Повлияет ли это на позиции в Google и Яндексе?

Нет, если не закрывать Googlebot и YandexBot. Генератор не включает поисковые системы в список именно для этого. Закрытие ИИ-краулеров и SEO-сервисов на обычную выдачу не влияет.

Остановит ли robots.txt парсер или скрипт?

Нет. Правила robots.txt добровольные, скрипты и подделки их игнорируют. Блокировка по User-Agent на сервере (nginx, .htaccess) отсекает бота, который честно называет себя, но обходится сменой строки. Надёжнее проверка по IP и поведению.

Что такое Google-Extended и Applebot-Extended?

Это токены только для robots.txt: они сообщают Google и Apple, можно ли использовать ваши материалы для обучения ИИ. Сами они сайт не обходят, поэтому на сервере их блокировать не нужно, а в поиске ничего не меняется.

Подробнее о ботах: GPTBot, ClaudeBot, Bytespider, MJ12bot.

Генератор robots.txt для ИИ-ботов и SEO-парсеров

ИИ-краулеры и ИИ-ассистенты