Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot - это веб-краулер, разработанный компанией Apple Inc. для индексации веб-сайтов и использования в своих сервисах, таких как Siri, Spotlight и Apple News. Данный User-Agent представляет собой версию Applebot, имитирующую браузер Safari 13.1.1 на macOS 10.15 Catalina. Он предназначен для сбора контента с веб-сайтов с целью улучшения поиска и рекомендаций в экосистеме Apple.
Applebot считается легитимным и безопасным краулером, так как он официально используется Apple для индексации. Он следует правилам robots.txt и не представляет прямой угрозы безопасности. Однако, как и любой бот, он может увеличивать нагрузку на сервер при высокой частоте запросов. Рекомендуется проверять IP-адреса на принадлежность к диапазонам Apple (AS714, AS2709) и не блокировать без необходимости, чтобы не ухудшить видимость в сервисах Apple.
Для идентификации Applebot в коде сервера можно анализировать строку User-Agent на наличие подстроки 'Applebot' и проверять IP-адрес через обратные DNS-запросы (PTR-записи должны оканчиваться на '.applebot.apple.com.'). Пример на PHP: if (strpos($_SERVER['HTTP_USER_AGENT'], 'Applebot') !== false) { /* обработка */ }. Рекомендуется разрешить доступ, но при необходимости ограничить частоту запросов через rate limiting.
User-agent: Applebot с правилами Disallow/Allow. Для блокировки на сервере можно отфильтровать по строке 'Applebot' в .htaccess или конфигурации Nginx.