Защита сайта от ботов

Представьте, вы смотрите на статистику своего сайта и видите, что посещаемость растёт. Казалось бы, повод для радости, но вы замечаете, что конверсия не двигается. Или ещё хуже — трафик вдруг резко взлетает, и это выглядит неестественно. Такие моменты часто говорят о том, что ваш сайт атаковали вредоносные алгоритмы. Это серьёзно, потому что если вовремя не среагировать, можно потерять не просто посетителей, но и ухудшить позиции в поисковиках. А это уже сильный удар по вашему бизнесу. В общем, если вы заметили что-то подозрительное, лучше сразу принимать меры.

Не все боты зло

Наверное, вы слышали, что иногда сайтам требуется защита от ботов. Но не все боты — враги. Среди них есть и те, что на нашей стороне. Пример? Поисковые боты от Яндекса и Google, которые помогают вашему сайту быть заметнее в интернете. Они как добрые помощники сканируют каждую страницу, анализируют содержимое и ссылки, чтобы понять, насколько ваш сайт полезен и интересен. Благодаря этому, сайты поднимаются в рейтингах поисковой выдачи, привлекая больше посетителей. Так что, когда речь заходит о ботах, помните: среди них есть и хорошие ребята.

Как определить роботов

Показатель отказов. Заметили, что отказы на вашем сайте вдруг подскочили с обычных 10% до 50-60%? Стоит насторожиться, потому что такой трафик может серьезно повлиять на поведенческие факторы. Но тут есть одна тонкость. Не всякий рост отказов связан с плохим трафиком. Знаете, бывает, что боты так искусственно повторяют действия настоящих людей, что отказы могут даже упасть. Это не прямая атака на сайт, а своего рода нагул ботов. Получается, они тренируются на нас, чтобы потом их создатели могли использовать с большей эффективностью. С одной стороны, это может даже казаться выгодным, но не надо забывать про другие показатели, которые могут ухудшиться во время таких визитов. Например, уменьшение глубины просмотра или продолжительность сессии, которые тоже важны для общего восприятия сайта поисковыми системами. Так что, даже если цифры по отказам не выглядят тревожно, всё равно стоит обратить внимание на общую картину.

Рост трафика из другого региона. Если вы оказываете услуги только в Санкт-Петербурге, а всплеск трафика идет из Москвы, скорее всего это боты.

Одна подсеть. Чаще всего, если в метрике наблюдается резкий шквал прямого трафика, то он идет из одной IPv6 подсети или нескольких.

Показатель роботности. Это условная метрика и ориентироваться на нее не стоит. Один и тот же визит на два сайта Яндекс может определить по разному.

Что такое Cloudflare

Cloudflare — это американская компания, предоставляющая ряд услуг для веб-сайтов и интернет-приложений, помогающих улучшить их безопасность и производительность в сети. Среди основных услуг Cloudflare — распределённая сеть доставки контента (CDN), устойчивость к DDoS-атакам, безопасные доменные имена (DNS) и проксирование веб-трафика, что обеспечивает защиту и ускорение загрузки веб-сайтов.

Система Cloudflare работает так, что когда пользователь пытается зайти на сайт, использующий их услуги, Cloudflare направляет запрос через свою интеллектуальную глобальную сеть, которая оптимизирует пути доставки данных. Это уменьшает время загрузки страниц, уменьшает нагрузку на сервера и повышает общую доступность сайта даже в условиях высокого трафика или атак хакеров.

В добавок к этому, Cloudflare предлагает решения для обеспечения конфиденциальности и безопасности через шифрование, борьбу с ботами и защиту от уязвимостей веб-приложений. Эти инструменты помогают предотвратить потенциальные угрозы и атаки, такие как данные, перехватываемые злоумышленниками, или отказ в обслуживании (DDoS-атаки), целящие в остановку работы сайта.

Cloudflare активно используется многими сайтами по всему миру для повышения их производительности и защиты от различных видов интернет-угроз.

Я рекомендую настраивать следующие правила:

1. Разрешаем доступ «белым» ботам, а также обязательно добавляем ip хостинга и других сервисов, которыми пользуетесь. Первое правило с нашими исключениями всегда держим на первом месте.
2. Отключаем IPv6.
3. На вкладке Tools в разделе WAF добавляем в блок AS35048 (Biterika) и AS49505 (Selectel).
4. Если трафик из других стран не нужен, ставим капчу всем, кто не из России.
5. Настраиваем правило для блокровки прямых заходов.

Каждая настройка индвидуальна и требует предварительного анализа, поэтому общие правила, которые гуляют по интернету скорее всего вам не помогут. Рассмотрим пятый пункт подробнее.

Заходим в Метрику, фильтруем посетителей по прямым переходам.

Нас интересуют ip адреса наших ботов. В данном примере они идут с 5.139.240.0/20. Далее по желанию можно выяснить as номер сети (12389), которой пренадлежит подсеть или использовать 5.139.240.0/20 в правиле.

Вариант с AS номером сети предпочтительней, если в Метрике обнаружите и другие ip Ростелекома. Заодно можете добавить ASN основых спамеров: 16509 (Amazon), 16276 (OVH), 14061 (Digital Ocean), 24940 (Hetzner).

Итог успешной настройки будет выглядеть так

Система хорошо фильтрует ботов, которые пытаются подражать поведению настоящих пользователей. Это особенно ценно, когда дело доходит до ухудшения поведенческих факторов. Но, как и в любой системе, не все так идеально. Всегда найдутся боты, которые каким-то образом умудряются обойти установленные правила. В таких ситуациях на помощь приходят IT-специалисты. Они могут детально изучить ситуацию, выявить и заблокировать опасные IP-адреса или же разработать новые, более эффективные правила для Cloudflare, чтобы усилить защиту. Это важно помнить, что полной безопасности не бывает, и к защите нужен комплексный подход.