Twitterbot: User-Agent и проверка подлинности

Операционные системы

Самые частые строки User-Agent

Период 05.09.2026 — 05.10.2026. Страница строки показывает её разбор и «паспорт»: на чём основан вердикт.

Как проверить, настоящий ли Twitterbot

Строку User-Agent бота может написать любой скрипт, поэтому не блокируйте и не пропускайте бота только по ней. Сверяйте IP-адрес с данными владельца бота (X (Twitter): списки диапазонов и способ проверки) и проверяйте поведение: частоту запросов и то, какие страницы он открывает. Для проверки адреса используйте проверку User-Agent и IP, а разобрать свой лог можно в анализаторе access-лога.

Как запретить или разрешить Twitterbot

robots.txt

User-agent: Twitterbot
Disallow: /

Чтобы, наоборот, явно разрешить обход, используйте Allow: /. Правило работает только для ботов, которые соблюдают robots.txt.

nginx (отказ по User-Agent)

if ($http_user_agent ~* "Twitterbot") {
    return 403;
}

Это блокирует и настоящего бота, и подделку, которая подписалась его именем. Если нужно пропускать настоящего и отсекать подделки, проверка должна идти по IP: так работает защита от ботов Bot Guard.

Проверить, допускает ли ваш сайт Twitterbot

Вопросы и ответы

Как запретить Twitterbot в robots.txt?
Добавьте в robots.txt блок «User-agent: Twitterbot» и строку «Disallow: /». Добросовестные боты соблюдают это правило, но оно добровольное: подделки и скрипты его игнорируют.

Как проверить, что это настоящий Twitterbot?
Строка User-Agent ничего не доказывает, её может написать любой скрипт. Подлинность подтверждает IP-адрес: сверьте его с данными владельца бота или используйте бесплатную проверку User-Agent и IP на bot-guard.ru.

Что будет, если заблокировать Twitterbot?
Бот перестанет обходить сайт. Для краулеров, которые собирают данные для сервисов и поисковых систем, это может убрать сайт из их выдачи или ответов, поэтому сначала решите, нужен ли вам этот канал.