Видят ли поисковые боты и ИИ ваш сайт?

Как это работает

Боты поисковых систем и ИИ перед обходом читают robots.txt. Для каждого бота выбирается самая подходящая группа правил (по имени бота, иначе общая «*»), внутри группы побеждает самое длинное подходящее правило, при равной длине разрешение сильнее запрета. Так же правила применяют сами поисковики (стандарт RFC 9309). Кроме этого, страницу можно закрыть от индексации тегом noindex или заголовком X-Robots-Tag: проверяем и их.

Проверка не заменяет Вебмастер и Search Console: мы видим то, что отдаётся нам, а не то, что видят настоящие боты с их адресов. Но запреты в robots.txt и теги действуют на настоящих ботов одинаково, поэтому они показаны достоверно.

Вопросы и ответы

Что будет, если закрыть сайт от GPTBot или ClaudeBot?

Эти боты соберут меньше материалов с вашего сайта для обучения моделей. На позиции в поиске Google и Яндекса это не влияет. Но если закрыть ещё и поисковых ботов ИИ-ассистентов (OAI-SearchBot, PerplexityBot), сайт реже появится в ответах этих сервисов.

Достаточно ли robots.txt, чтобы остановить бота?

Нет. robots.txt добровольный: его соблюдают поисковые системы и добросовестные краулеры. Скрипты, парсеры и подделки под Googlebot его игнорируют. Для них нужна проверка на стороне сервера по IP и поведению.

Почему сайт отвечает по-разному на запросы «как Googlebot» и «как браузер»?

Наш запрос приходит не с адресов Google и Яндекса. Сайт, который проверяет подлинность бота по IP, и должен отвергать такую подделку, это нормально. Хуже, если закрыт настоящий бот: это видно в Яндекс.Вебмастере и Google Search Console в разделах обхода и индексации.

Как проверить, что настоящий Googlebot заходит на сайт?

Строка User-Agent ничего не доказывает. Настоящего бота подтверждает обратный DNS-запрос по IP из лога. Бесплатная проверка есть на странице «Расшифровка User-Agent и IP».

Связанные материалы: как проверить, настоящий ли это Googlebot, расшифровка User-Agent и проверка IP, GPTBot: что это и как проверить.