"Плохие" боты и их признаки
Боты составляют половину всего веб-трафика. Несмотря на то, что в интернете существуют всевозможные боты для различных целей, значительная часть бот-трафика в Google Analytics поступает от недобросовестных ботов со злым умыслом. Вот почему исключение бот-трафика в GA4 важно, помимо защиты вашего сайта, приложения и API.
Хотя есть и хорошие боты, которые предоставляют полезные услуги (например, Googlebot и Bingbot, которые помогают проиндексировать ваш сайт в двух основных поисковых системах, чтобы потенциальные клиенты могли найти вас), плохие боты могут нанести всевозможный ущерб вашему сайту и бизнесу, например:
Попытки распределенной атаки 7-го уровня (DDoS).
Скраппинг вашего сайта в поисках частной информации, которая может быть использована незаконно, например для продажи данных ваших пользователей.
Репост вашего контента на других сайтах, что приводит к дублированию контента, снижению цен и другим проблемам.
Даже хорошие боты могут создавать дополнительную нагрузку на ресурсы вашего сервера, если ими не управлять должным образом, что приводит к увеличению нагрузки на трафик и замедлению скорости работы сайта. Управление и блокировка ботов, особенно плохих, очень важны, если у вас есть сайт и сервер.
Однако здесь есть две основные проблемы:
- Мы не можем просто заблокировать всех ботов, поскольку есть хорошие боты, которые могут быть полезны.
- Мы не хотим случайно заблокировать законных пользователей по ошибке.
Поэтому в этом руководстве мы рассмотрим, как эффективно блокировать ботов на вашем сайте и сервере, как один из многих методов борьбы с ботами.
Что такое плохие боты?
Интернет-роботы - или просто «боты» - это автоматизированные программы, предназначенные для выполнения относительно простых, повторяющихся действий в Интернете. Ключевая особенность заключается в том, что боты могут выполнять задачи с гораздо большей скоростью, чем люди, и могут работать 24 часа в сутки 7 дней в неделю без перерывов и отдыха.
Существуют как хорошие, так и плохие боты. Хороший бот, как правило, принадлежит легальной компании (например, Google или Facebook) и не будет скрывать, что он бот. Хорошие боты следуют правилам и политике файла robots.txt вашего сайта.
Плохой бот, напротив, может попытаться замаскироваться под человека и создать всевозможные проблемы.
Для некоторых типов бот-атак, например DDoS, мошенники могут также использовать ботнеты - группы устройств (например, персональных компьютеров и IoT-устройств), которые были заражены вредоносным ПО и теперь находятся под контролем злоумышленника, по сути, превращая зараженные устройства в зомби.
После заражения устройства оно может заражать другие устройства (например, рассылать спам по электронной почте), чтобы увеличить количество ботов в ботнете до тысяч или даже миллионов зомби-устройств.
Общие признаки плохого бот-трафика
Заметить признаки и симптомы плохих ботов обычно проще, чем обнаружить самих ботов. К признакам относятся:
Внезапные скачки трафика. Боты, как правило, появляются массово, особенно при скраппинге и DDoS-атаках, а значит, вы увидите внезапный необъяснимый всплеск просмотров страниц.
Проблемы с производительностью сервера. Поскольку боты появляются в таких больших количествах, ваши серверы могут не справиться с дополнительной нагрузкой, замедляя работу сайта для всех пользователей. Как только вы добавите дополнительные ресурсы сервера, боты начнут наводнять его, усугубляя проблему.
Высокий показатель отказов. Боты запрограммированы на достижение определенной цели. Если эта цель не достигнута или оказалась невыполнимой, плохой бот сразу же уйдет. Кроме того, боты работают по миллисекундам, а не по секундам.
Ненормальная продолжительность сеанса. Люди обычно остаются на сайте не менее нескольких секунд и не задерживаются на одной странице дольше нескольких минут. Длительность сеанса в миллисекунды или аномально длинная сессия могут свидетельствовать о наличии ботов.