Коротко: если сайт не попадает в Google или Яндекс, первым делом проверьте четыре вещи: не закрыт ли поисковый бот в robots.txt, нет ли на странице noindex, не отвечает ли robots.txt ошибкой и не режет ли ботов файрвол или защита. Первые три проверяются бесплатным инструментом за минуту, четвёртое видно в Яндекс.Вебмастере и Google Search Console.
1. Поисковый бот закрыт в robots.txt
Правило Disallow: / в группе User-agent: * или в группе конкретного бота запрещает обход всего сайта. Часто его оставляют после разработки на тестовом домене и забывают убрать при запуске. Для каждого бота действует самая подходящая группа правил (по имени бота, иначе общая «*»), а внутри группы побеждает самое длинное подходящее правило. Из-за этого группа «User-agent: Googlebot» с одним мелким запретом отменяет для Googlebot все правила общей группы: бот читает только свою.
Инструмент «Видят ли боты ваш сайт» считает эти правила так же, как поисковики, и показывает по каждому боту (Googlebot, YandexBot, bingbot, ИИ-краулеры) допущен он или закрыт и по какому правилу.
2. Страница закрыта от индексации (noindex)
Запретить индексацию можно двумя способами: тегом <meta name="robots" content="noindex"> в коде страницы или HTTP-заголовком X-Robots-Tag: noindex. Заголовок часто ставят на уровне сервера и забывают, потому что в коде страницы его не видно. Обратите внимание: если страница закрыта в robots.txt, бот её не откроет и тег noindex не увидит, а адрес всё равно может остаться в выдаче по ссылкам с других сайтов. Для исключения из поиска надёжнее разрешить обход и поставить noindex.
Проверка допуска показывает и meta robots, и X-Robots-Tag для введённого адреса.
3. robots.txt отдаёт ошибку или редирект
- 404: файла нет, ограничений нет, всё в порядке.
- 5xx или таймаут: поисковик не может прочитать правила и может временно не обходить сайт. Чинится на стороне хостинга.
- Редирект: поисковики его проходят, но цепочка должна быть короткой. Типичный случай: robots.txt доступен по адресу без www, а сайт открывается с www. Проверка проходит до трёх редиректов и читает конечный файл.
4. Файрвол или защита режет ботов
Если robots.txt и теги в порядке, а обход не идёт, причина может быть в защите: правило блокирует запросы по User-Agent «bot» или по странам, а WAF отдаёт 403 или капчу. Это видно в Яндекс.Вебмастере и Google Search Console: раздел обхода и статистики сканирования показывает коды ответов, которые получил настоящий бот.
Наша проверка здесь ограничена: мы отправляем запросы со строками Googlebot, YandexBot и GPTBot, но с адресов своего сервера, а не Google. Сайт с правильной защитой отвергнет такую подделку, и код 403 в этом случае нормален. Поэтому ответы на запросы с User-Agent ботов в результате показаны с оговоркой, а решение принимайте по Вебмастеру и Search Console.
Защита по IP, которая пропускает настоящих ботов и отсекает подделки, работает иначе, чем блокировка по строке: как устроена защита от ботов, как отличить настоящий Googlebot.
Что делать по шагам
- Введите адрес главной и важных страниц в проверку допуска ботов.
- Если Googlebot или YandexBot закрыт, найдите правило, которое на него действует (оно показано в таблице), и исправьте его в
robots.txt. - Если найден noindex, уберите его в настройках CMS, SEO-плагина или конфигурации сервера.
- Если robots.txt отдаёт ошибку, обратитесь к хостингу или исправьте конфигурацию.
- Если всё чисто, посмотрите коды ответов бота в Вебмастере и Search Console.
- После правок отправьте страницы на переобход в Вебмастере и Search Console.
Вопросы и ответы
Закрыт ли сайт, если в robots.txt нет Disallow?
Нет. Если запретов нет, или файл отсутствует (404), обход разрешён. Пустая строка Disallow: тоже ничего не запрещает.
Чем noindex отличается от Disallow?
Disallow запрещает боту заходить на страницу, noindex разрешает зайти, но просит не показывать страницу в поиске. Для исключения из выдачи нужен noindex, а не Disallow.
Почему проверка показывает 403 на мой запрос?
Сайт или его защита не пускает запросы с адресов серверов. Для настоящих ботов с адресов Google и Яндекса ответ может быть другим, это проверяется в Вебмастере и Search Console.
Можно ли проверить сайт, закрытый паролем?
Нет. Инструмент читает только то, что сайт отдаёт любому посетителю без входа.
Защитите свой сайт от ботов прямо сейчас
Подключение занимает несколько минут — вставьте один PHP-сниппет, и Bot Guard начнёт фильтровать ботов, скрейперов и попытки SQL-инъекций автоматически.