Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))

meta-externalagent 1.1 — краулер ИИ-сервиса Meta. Такие клиенты обычно собирают тексты страниц для обучения моделей или для ответов пользователям.

Краулеры ИИ-сервисов, такие как meta-externalagent 1.1, обычно запускаются для сбора текстов страниц с различных сайтов. Это делается для обучения моделей или для предоставления ответов пользователям.

Bot Guard видел этот User-Agent на 10 сайтах из 53 подключённых (19%). Первое появление в нашей статистике: 03.07.2026, последнее: 15.10.2026. Всего за это время зафиксировано 8 028 036 визитов. В среднем это около 76457 визитов в день за 105 дней наблюдений.

По строке определяется: название клиента — meta-externalagent версии 1.1; операционная система — Windows 10/11; тип устройства — компьютер; движок — WebKit 537.36. Часть токенов, например Mozilla/5.0 и KHTML, like Gecko, исторически есть почти у всех браузеров и ничего не говорят о реальном клиенте.

Вердикт: краулер или служебный бот. Основания: явных противоречий в строке нет; с 01.10.2026 защита Bot Guard сработала на этот User-Agent 3 638 раз на 6 сайтах (User-Agent из списка нежелательных ботов: 3 271; ротация IP (прокси-пул): 182; ip_blocked: 172; аномальная частота запросов: 13); запросы шли из сетей: Google Cloud (1); в статистике 10 сайтов, 8 028 036 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

Такой краулер собирает контент для ИИ-сервиса. Прямого трафика он не даёт, зато увеличивает число запросов в журнале и может создавать нагрузку при частом обходе. Решение разрешить или запретить его принимается политикой сайта.

Название бота в User-Agent может написать кто угодно. Надёжный способ — сверить IP клиента с официальными диапазонами компании Meta и убедиться, что робот читает robots.txt до обхода страниц.

Запросы этого клиента легко найти в журнале по подстроке «meta-externalagent». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "meta-externalagent" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*meta-externalagent 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'meta-externalagent') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Робот, соблюдающий правила, читает robots.txt до обхода страниц. Чтобы закрыть сайт целиком или только один раздел, добавьте правило с названием клиента. robots.txt рекомендательный: подделки и недобросовестные боты его игнорируют, для них нужна блокировка на сервере.

# закрыть весь сайт
User-agent: meta-externalagent
Disallow: /

# закрыть только раздел
User-agent: meta-externalagent
Disallow: /private/

# разрешить всё
User-agent: meta-externalagent
Allow: /

Хотите, чтобы ваш контент попадал в ответы ИИ, оставьте доступ для meta-externalagent. Если нет, закройте его правилом в robots.txt. Запросы с адресов вне сетей компании Meta можно блокировать как подделку.