Как закрыть сайт от GPTBot, ClaudeBot и других ИИ-ботов: robots.txt, nginx, .htaccess

Коротко: чтобы закрыть сайт от GPTBot и ClaudeBot, добавьте в robots.txt блок с User-agent нужных ботов и строкой Disallow: /. Для ботов, которые честно называют себя, но не читают robots.txt, добавьте отказ по User-Agent в nginx или .htaccess. На позиции в Google и Яндексе это не влияет, пока вы не закрываете Googlebot и YandexBot. Готовые правила под ваш выбор собирает генератор robots.txt.

Кого можно закрывать, а кого лучше не трогать

• Поисковые боты (Googlebot, YandexBot, bingbot): не закрывайте, сайт пропадёт из поиска.
• ИИ-краулеры, собирающие материалы для обучения (GPTBot, ClaudeBot, CCBot, Bytespider): закрывают, если не хотят отдавать тексты для обучения моделей.
• Поисковые боты ИИ-ассистентов (OAI-SearchBot, PerplexityBot): от них зависит, появится ли сайт в ответах ассистентов. Закроете, и вас там не будет.
• SEO-сервисы (AhrefsBot, SemrushBot, MJ12bot, DotBot): нагрузка без прямой пользы владельцу, решение за вашей политикой.

Отдельно есть токены только для robots.txt: Google-Extended и Applebot-Extended. Они сообщают Google и Apple, можно ли использовать ваши материалы для обучения ИИ. Сами они сайт не обходят, и на обычный поиск не влияют.

Способ 1: robots.txt

Добавьте в начало файла robots.txt в корне сайта (уже существующие правила не трогайте):

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
Disallow: /

Несколько строк User-agent подряд образуют одну группу с общим правилом. Если вы хотите закрыть не весь сайт, а раздел, замените / на путь, например /blog/.

Способ 2: отказ по User-Agent в nginx

robots.txt добровольный. Чтобы бот получил отказ, даже если не читает файл, добавьте правило на сервере. В блок http { }:

map $http_user_agent $bg_blocked_bot {
    default 0;
    "~*(GPTBot|ClaudeBot|CCBot|Bytespider)" 1;
}

В блок server { } сайта:

if ($bg_blocked_bot) {
    return 403;
}

Проверьте конфигурацию командой nginx -t и перезагрузите. Мы прогнали это правило на тестовом nginx: запросы с User-Agent GPTBot и ClaudeBot получили 403, а обычный браузер и Googlebot прошли. Регистр не важен.

Способ 3: Apache (.htaccess)

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider) [NC]
RewriteRule .* - [F,L]

Чего эти правила не делают

• robots.txt не останавливает скрипты. Его соблюдают поисковые системы и добросовестные краулеры, а парсер или подделка просто его не читает.
• Отказ по User-Agent обходится сменой строки. Бот, который представился браузером или Googlebot, пройдёт. Различать таких ботов нужно по IP и поведению: как проверить, настоящий ли это Googlebot.
• Запросы по инициативе пользователя. Когда человек просит ассистента открыть вашу страницу, соблюдение robots.txt зависит от сервиса и не гарантировано (например, у ChatGPT-User).

Как проверить, что получилось

1. Откройте https://ваш-сайт/robots.txt и убедитесь, что блок на месте и нет опечаток в названиях ботов.
2. Прогоните сайт через проверку допуска ботов: она покажет по каждому боту, допущен он или закрыт, и сразу предупредит, если случайно закрыт Googlebot или YandexBot.
3. Через пару недель посмотрите access-лог: заходы закрытых ботов с 200 кодом должны исчезнуть (у ботов, соблюдающих правила) или сменить код на 403 (при правиле на сервере).

Вопросы и ответы

Повлияет ли закрытие GPTBot на позиции в Google?

Нет. GPTBot относится к OpenAI и не участвует в поиске Google или Яндекса. Позиции зависят от Googlebot и YandexBot, их закрывать не нужно.

Можно ли закрыть сайт от ИИ, но остаться в ответах ChatGPT?

Частично. Для обучения моделей используется GPTBot, а для поиска внутри ChatGPT отдельный OAI-SearchBot. Закрыв только GPTBot и оставив OAI-SearchBot, вы запрещаете обучение, но разрешаете показ сайта в поиске ChatGPT.

Как отличить настоящий GPTBot от подделки?

Строка User-Agent не доказывает ничего. Нужно сверять IP с диапазонами, которые публикует владелец бота. Подробнее о каждом боте и его строках: GPTBot, ClaudeBot, Bytespider.

Что делать, если закрытых ботов много, а нагрузка не падает?

Значит, нагрузку дают боты, которые не соблюдают правила. Посмотрите на них в анализаторе лога и подключите защиту, которая отсекает по IP и поведению: защита сайта от ботов.