FacebookExternalHit - краулер Facebook для проверки ссылок

Что такое facebookexternalhit?

facebookexternalhit/1.1 - это официальный краулер (бот) социальной сети Facebook, созданный компанией Meta Platforms (ранее Facebook, Inc.). Он используется для проверки и извлечения информации о веб-страницах, когда пользователь вставляет ссылку в пост, комментарий или личное сообщение. Бот запрашивает страницу, анализирует её содержимое (заголовки, описания, изображения) и формирует так называемый «превью» (ссылку с картинкой и текстом) для отображения в ленте. Краулер был представлен в 2010 году вместе с внедрением технологии Open Graph, которая позволяет веб-мастерам управлять тем, как их сайты выглядят в Facebook.

Технические характеристики

• Тип: краулер (бот) для проверки ссылок
• Браузер: facebookexternalhit (не является браузером, работает как HTTP-клиент)
• ОС: не привязан к конкретной ОС; работает на серверах Meta Platforms
• Движок рендеринга: отсутствует (не отображает страницы, только парсит HTML-код)
• Устройство: серверный бот, не связан с мобильными или десктопными устройствами

Безопасность и риски

facebookexternalhit является легитимным краулером, и его можно считать безопасным. Однако существуют риски, связанные с подделкой User-Agent: злоумышленники могут имитировать этот User-Agent, чтобы обойти защиту от ботов (например, капчу) или получить доступ к контенту, который должен быть скрыт от поисковых систем. Рекомендуется проверять не только строку User-Agent, но и IP-адреса, с которых приходят запросы (они принадлежат диапазонам Meta, например, 69.171.224.0/20, 66.220.144.0/20 и др.). Также следует быть осторожным с тем, чтобы не блокировать этого бота, иначе ссылки на ваш сайт не будут отображаться в Facebook с превью, что снизит кликабельность.

Как обнаружить и обработать

Для идентификации facebookexternalhit в коде или на сервере необходимо проверять строку User-Agent в HTTP-запросе. В большинстве серверных языков это делается через переменную окружения (например, $_SERVER['HTTP_USER_AGENT'] в PHP, request.headers['User-Agent'] в Python). Строка выглядит как facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php). Если вы используете Nginx, можно добавить правило в конфигурацию для обработки этого бота отдельно. Важно не блокировать его в файле robots.txt, так как это не поисковый робот, и он не обязан следовать правилам robots.txt, но может игнорировать их. Рекомендуется разрешить доступ, но при необходимости ограничить частоту запросов.

Часто задаваемые вопросы

Что значит этот User-Agent?

Это строка, которую отправляет краулер Facebook при обращении к вашему сайту для получения данных о ссылке, вставленной пользователем в социальную сеть.

Безопасен ли этот User-Agent?

Да, если запрос действительно от Facebook. Но из-за возможности подделки рекомендуется проверять IP-адрес источника.

Как заблокировать или разрешить этот User-Agent?

В файле .htaccess (Apache) или конфигурации Nginx можно добавить условия по User-Agent. Например, в Nginx: if ($http_user_agent ~* "facebookexternalhit") { return 200; } - чтобы разрешить, или блокировать по IP. Но обычно лучше не блокировать, а разрешить, чтобы Facebook мог корректно отображать превью ссылок.