Яндекс.Бот (YandexBot) - поисковый робот Яндекса

YandexBot 3.0 — поисковый краулер Яндекса. Обычно такие клиенты приходят на сайты для добавления их в поисковый индекс.

Яндекс запускает клиент YandexBot 3.0 для обхода страниц сайтов и добавления их в поисковый индекс. Такие клиенты обычно приходят на сайт для сбора информации и анализа содержимого для улучшения поисковых результатов.

Bot Guard видел этот User-Agent на 52 сайтах из 54 подключённых (96%). Первое появление в нашей статистике: 28.09.2023, последнее: 16.10.2026. Всего за это время зафиксировано 4 903 953 визита. В среднем это около 4398 визитов в день за 1115 дней наблюдений.

По строке определяется: название клиента — YandexBot версии 3.0. Часть токенов, например Mozilla/5.0, исторически есть почти у всех браузеров и ничего не говорят о реальном клиенте.

Вердикт: краулер или служебный бот. Основания: явных противоречий в строке нет; с 01.10.2026 защита Bot Guard сработала на этот User-Agent 114 раз на 6 сайтах (ротация IP (прокси-пул): 100; аномальная частота запросов: 9; подделка под поискового бота (rDNS не подтвердил владельца): 5); запросы шли из сетей: Google Cloud (1); в статистике 52 сайтов, 4 903 953 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

Настоящий поисковый робот создаёт умеренную нагрузку на сервер и нужен, чтобы страницы попадали в поиск. Системы статистики, как правило, не считают его визиты посещениями людей, но в журнале сервера он заметен. Резкий рост обращений стоит проверить на подделку.

Настоящий YandexBot можно отличить от подделки по адресу: выполните обратный DNS-запрос к IP клиента и проверьте, что имя хоста принадлежит компании Яндекс, а прямая запись указывает на тот же IP. У подделки в User-Agent будет такое же имя, но адрес окажется чужим.

Проверка занимает две команды. Сначала по IP запроса получаем имя хоста, оно должно оканчиваться на .yandex.ru, .yandex.net или .yandex.com. Затем по этому имени получаем IP обратно, адрес обязан совпасть с исходным. Если хотя бы одна проверка не прошла, запрос идёт не от Яндекс.

# 1. обратный запрос: имя хоста по IP
host 203.0.113.10
# 203.0.113.10 -> pointer crawler-example.yandex.ru

# 2. прямой запрос: IP по имени хоста
host crawler-example.yandex.ru
# адрес в ответе должен быть 203.0.113.10

Запросы этого клиента легко найти в журнале по подстроке «YandexBot». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "YandexBot" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*YandexBot 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'YandexBot') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Робот, соблюдающий правила, читает robots.txt до обхода страниц. Чтобы закрыть сайт целиком или только один раздел, добавьте правило с названием клиента. robots.txt рекомендательный: подделки и недобросовестные боты его игнорируют, для них нужна блокировка на сервере.

# закрыть весь сайт
User-agent: YandexBot
Disallow: /

# закрыть только раздел
User-agent: YandexBot
Disallow: /private/

# разрешить всё
User-agent: YandexBot
Allow: /

Пускайте проверенного робота и следите за нагрузкой. Если обход слишком частый, ограничивайте скорость в настройках сервиса компании Яндекс или правилами в robots.txt, а не блокировкой.