Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot

OAI-SearchBot 1.4 — краулер ИИ-сервиса OpenAI. Обычно такие клиенты приходят для сбора текстов страниц для обучения моделей или для ответов пользователям.

Краулеры ИИ-сервисов, такие как OAI-SearchBot 1.4, обычно запускаются для сбора текстов страниц с различных сайтов. Это делается для обучения моделей или для предоставления ответов пользователям.

Bot Guard видел этот User-Agent на 10 сайтах из 54 подключённых (19%). Первое появление в нашей статистике: 31.05.2026, последнее: 16.10.2026. Всего за это время зафиксировано 2 935 визитов. В среднем это около 21 визита в день за 139 дней наблюдений.

По строке определяется: название клиента — OAI-SearchBot версии 1.4; операционная система — macOS 10.15.7; тип устройства — компьютер Mac; движок — WebKit 537.36. Часть токенов, например Mozilla/5.0 и KHTML, like Gecko, исторически есть почти у всех браузеров и ничего не говорят о реальном клиенте.

Вердикт: краулер или служебный бот. Основания: явных противоречий в строке нет; с 01.10.2026 защита Bot Guard сработала на этот User-Agent 88 раз на 6 сайтах (подделка под ИИ-бота (rDNS не подтвердил владельца): 42; подделка под поискового бота (rDNS не подтвердил владельца): 39; ротация IP (прокси-пул): 6; аномальная частота запросов: 1); запросы шли из сетей: Google Cloud (80); в статистике 10 сайтов, 2 935 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

ИИ-краулер читает тексты страниц, поэтому при частом обходе заметно нагружает сервер, но посетителей на сайт не приводит. Будет ли ваш контент использоваться для обучения и ответов ИИ, определяют правила в robots.txt.

Компании, которые запускают ИИ-краулеры, публикуют списки IP-адресов своих роботов. Сравните адрес запроса со списком компании OpenAI: если адрес не из него, строка User-Agent подделана, даже если название бота совпадает.

Запросы этого клиента легко найти в журнале по подстроке «OAI-SearchBot». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "OAI-SearchBot" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*OAI-SearchBot 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'OAI-SearchBot') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Робот, соблюдающий правила, читает robots.txt до обхода страниц. Чтобы закрыть сайт целиком или только один раздел, добавьте правило с названием клиента. robots.txt рекомендательный: подделки и недобросовестные боты его игнорируют, для них нужна блокировка на сервере.

# закрыть весь сайт
User-agent: OAI-SearchBot
Disallow: /

# закрыть только раздел
User-agent: OAI-SearchBot
Disallow: /private/

# разрешить всё
User-agent: OAI-SearchBot
Allow: /

Решение зависит от вашей политики по ИИ: разрешить или запретить использование контента. Управляйте этим через robots.txt, добавив правило для OAI-SearchBot. Подделки под такого бота блокируйте по IP.