Twitterbot/1.0 - краулер социальной сети X (Твиттер)

Twitterbot 1.0 — бот сервиса X (Twitter), который собирает превью ссылок. Обычно такие клиенты собирают заголовок и картинку страницы для показа превью ссылки.

Такие клиенты обычно запускает Twitter, чтобы собрать необходимую информацию для отображения превью ссылок. Они посещают сайты для сбора заголовков и изображений, чтобы обеспечить пользователям удобное взаимодействие с ссылками в твитах.

Bot Guard видел этот User-Agent на 23 сайтах из 54 подключённых (43%). Первое появление в нашей статистике: 29.09.2023, последнее: 25.06.2026. Всего за это время зафиксировано 294 визита. В среднем это около 1 визитов в день за 1001 день наблюдений.

По строке определяется: название клиента — Twitterbot версии 1.0.

Вердикт: краулер или служебный бот. Основания: явных противоречий в строке нет; в статистике 23 сайтов, 294 визитов. Это оценка по строке и поведению, а не доказательство: по одному User-Agent нельзя гарантировать, что за ним бот или человек.

Бот превью заходит один раз, когда ссылку публикуют, и почти не создаёт нагрузки. Благодаря ему ссылка на сайт выглядит аккуратно, с заголовком и картинкой.

Строка User-Agent бота превью легко подделывается. Надёжнее сверить IP запроса с сетями компании X (Twitter) и проверить, что запросы приходят в момент, когда ссылку действительно публикуют.

Запросы этого клиента легко найти в журнале по подстроке «Twitterbot». Ниже примеры для подсчёта обращений, для nginx и для PHP. Строку лучше сверять без учёта регистра.

# сколько запросов в журнале nginx
grep -i "Twitterbot" /var/log/nginx/access.log | wc -l

# nginx: пометить запросы клиента
map $http_user_agent $is_client {
    default 0;
    ~*Twitterbot 1;
}

// PHP: определить клиента
if (stripos($_SERVER['HTTP_USER_AGENT'] ?? '', 'Twitterbot') !== false) {
    // ваша логика: пропустить, ограничить или заблокировать
}

Робот, соблюдающий правила, читает robots.txt до обхода страниц. Чтобы закрыть сайт целиком или только один раздел, добавьте правило с названием клиента. robots.txt рекомендательный: подделки и недобросовестные боты его игнорируют, для них нужна блокировка на сервере.

# закрыть весь сайт
User-agent: Twitterbot
Disallow: /

# закрыть только раздел
User-agent: Twitterbot
Disallow: /private/

# разрешить всё
User-agent: Twitterbot
Allow: /

Не блокируйте настоящего бота компании X (Twitter): без него ссылки на ваш сайт будут показываться без превью. Блокируйте только запросы, адрес которых не принадлежит компании X (Twitter).