Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Applebot 0.1 — поисковый краулер Apple. Обычно такие клиенты приходят на сайты, чтобы добавить их в поисковый индекс.

Поисковые краулеры, такие как Applebot, обычно запускаются поисковыми системами для сбора информации о веб-страницах. Они приходят на сайт для добавления его содержимого в поисковый индекс.

Bot Guard видел этот User-Agent на 49 сайтах из 54 подключённых (91%). Первое появление в нашей статистике: 06.05.2024, последнее: 16.10.2026. Всего за это время зафиксировано 516 493 визита. В среднем это около 578 визитов в день за 894 дня наблюдений.

По строке определяется: название клиента — Applebot версии 0.1; операционная система — macOS 10.15.7; тип устройства — компьютер Mac; движок — WebKit 605.1.15. Часть токенов, например Mozilla/5.0 и KHTML, like Gecko, исторически есть почти у всех браузеров и ничего не говорят о реальном клиенте.

Вердикт: краулер или служебный бот. Основания: явных противоречий в строке нет; с 01.10.2026 защита Bot Guard сработала на этот User-Agent 179 раз на 5 сайтах (ротация IP (прокси-пул): 147; аномальная частота запросов: 30; нет заголовков, которые отправляет браузер: 2); запросы шли из сетей: Google Cloud (1); в статистике 49 сайтов, 516 493 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

Поисковый робот обходит сайт регулярно: без этого новые и изменённые страницы не появятся в выдаче. Нагрузка обычно небольшая, а вот подделки под такого робота могут её заметно увеличивать, поэтому важно сверять адрес запроса.

Настоящий Applebot можно отличить от подделки по адресу: выполните обратный DNS-запрос к IP клиента и проверьте, что имя хоста принадлежит компании Apple, а прямая запись указывает на тот же IP. У подделки в User-Agent будет такое же имя, но адрес окажется чужим.

Проверка занимает две команды. Сначала по IP запроса получаем имя хоста, оно должно оканчиваться на .applebot.apple.com. Затем по этому имени получаем IP обратно, адрес обязан совпасть с исходным. Если хотя бы одна проверка не прошла, запрос идёт не от Apple.

# 1. обратный запрос: имя хоста по IP
host 203.0.113.10
# 203.0.113.10 -> pointer crawler-example.applebot.apple.com

# 2. прямой запрос: IP по имени хоста
host crawler-example.applebot.apple.com
# адрес в ответе должен быть 203.0.113.10

Запросы этого клиента легко найти в журнале по подстроке «Applebot». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "Applebot" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*Applebot 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'Applebot') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Робот, соблюдающий правила, читает robots.txt до обхода страниц. Чтобы закрыть сайт целиком или только один раздел, добавьте правило с названием клиента. robots.txt рекомендательный: подделки и недобросовестные боты его игнорируют, для них нужна блокировка на сервере.

# закрыть весь сайт
User-agent: Applebot
Disallow: /

# закрыть только раздел
User-agent: Applebot
Disallow: /private/

# разрешить всё
User-agent: Applebot
Allow: /

Пускайте проверенного робота и следите за нагрузкой. Если обход слишком частый, ограничивайте скорость в настройках сервиса компании Apple или правилами в robots.txt, а не блокировкой.