Защита сайта от ботов

 

Защита сайта от ботов Cloudflare

Как бороться с прямыми заходами

DDos защита

Пишу про защиту сайта в телеграме

 

Мой старый интерес к сетям вылился недавно в небольшой эксперимент. Началось все, как обычно спонтанно. В один из вечеров подумалось, а почему бы не предложить услугу по защите сайтов. Пока Яша мотивирует тысячи вебмастеров гонять миллионы ботов по рунету, растет и спрос на защиту. Для обычного пользователя и владельца небольшого магазина есть всего два сервиса: Cloudflare и Antibot. В зависимости от задачи они подключаются по отдельности или вместе, обеспечивая защиту от любой угрозы.

Защита сайта от ботов Cloudflare

Представьте, вы смотрите на статистику своего сайта и видите, что посещаемость растёт. Казалось бы, повод для радости, но вы замечаете, что конверсия не двигается. Или ещё хуже — трафик вдруг резко взлетает, и это выглядит неестественно. Такие моменты часто говорят о том, что ваш сайт атаковали вредоносные алгоритмы. Это серьёзно, потому что если вовремя не среагировать, можно потерять не просто посетителей, но и ухудшить позиции в поисковиках. А это уже сильный удар по вашему бизнесу. В общем, если вы заметили что-то подозрительное, лучше сразу принимать меры.

Не все боты зло

Наверное, вы слышали, что иногда сайтам требуется защита от ботов. Но не все боты — враги. Среди них есть и те, что на нашей стороне. Пример? Поисковые боты от Яндекса и Google, которые помогают вашему сайту быть заметнее в интернете. Они как добрые помощники сканируют каждую страницу, анализируют содержимое и ссылки, чтобы понять, насколько ваш сайт полезен и интересен. Благодаря этому, сайты поднимаются в рейтингах поисковой выдачи, привлекая больше посетителей. Так что, когда речь заходит о ботах, помните: среди них есть и хорошие ребята.

Как определить роботов

Показатель отказов. Заметили, что отказы на вашем сайте вдруг подскочили с обычных 10% до 50-60%? Стоит насторожиться, потому что такой трафик может серьезно повлиять на поведенческие факторы. Но тут есть одна тонкость. Не всякий рост отказов связан с плохим трафиком. Знаете, бывает, что боты так искусственно повторяют действия настоящих людей, что отказы могут даже упасть. Это не прямая атака на сайт, а своего рода нагул ботов. Получается, они тренируются на нас, чтобы потом их создатели могли использовать с большей эффективностью. С одной стороны, это может даже казаться выгодным, но не надо забывать про другие показатели, которые могут ухудшиться во время таких визитов. Например, уменьшение глубины просмотра или продолжительность сессии, которые тоже важны для общего восприятия сайта поисковыми системами. Так что, даже если цифры по отказам не выглядят тревожно, всё равно стоит обратить внимание на общую картину.

Показатель отказов на сайте

Рост трафика из другого региона. Если вы оказываете услуги только в Санкт-Петербурге, а всплеск трафика идет из Москвы, скорее всего это боты.

Рост трафика из другого региона

Одна подсеть. Чаще всего, если в метрике наблюдается резкий шквал прямого трафика, то он идет из одной IPv6 подсети или нескольких.

Боты идут из одной сети IPv6

Показатель роботности. Это условная метрика и ориентироваться на нее не стоит. Один и тот же визит на два сайта Яндекс может определить по разному.


Стоимость услуги от 2 000 ₽

Подключение и настройка Clouflare

Что такое Cloudflare

Cloudflare — это американская компания, предоставляющая ряд услуг для веб-сайтов и интернет-приложений, помогающих улучшить их безопасность и производительность в сети. Среди основных услуг Cloudflare — распределённая сеть доставки контента (CDN), устойчивость к DDoS-атакам, безопасные доменные имена (DNS) и проксирование веб-трафика, что обеспечивает защиту и ускорение загрузки веб-сайтов.

Система Cloudflare работает так, что когда пользователь пытается зайти на сайт, использующий их услуги, Cloudflare направляет запрос через свою интеллектуальную глобальную сеть, которая оптимизирует пути доставки данных. Это уменьшает время загрузки страниц, уменьшает нагрузку на сервера и повышает общую доступность сайта даже в условиях высокого трафика или атак хакеров.

В добавок к этому, Cloudflare предлагает решения для обеспечения конфиденциальности и безопасности через шифрование, борьбу с ботами и защиту от уязвимостей веб-приложений. Эти инструменты помогают предотвратить потенциальные угрозы и атаки, такие как данные, перехватываемые злоумышленниками, или отказ в обслуживании (DDoS-атаки), целящие в остановку работы сайта.

Cloudflare активно используется многими сайтами по всему миру для повышения их производительности и защиты от различных видов интернет-угроз.


Как бороться с прямыми заходами

Я рекомендую настраивать следующие правила:

  1. Разрешаем доступ «белым» ботам, а также обязательно добавляем ip хостинга и других сервисов, которыми пользуетесь. Первое правило с нашими исключениями всегда держим на первом месте.
  2. Отключаем IPv6.
  3. На вкладке Tools в разделе WAF добавляем в блок AS35048 (Biterika) и AS49505 (Selectel).
  4. Если трафик из других стран не нужен, ставим капчу всем, кто не из России.
  5. Настраиваем правило для блокровки прямых заходов.

Каждая настройка индвидуальна и требует предварительного анализа, поэтому общие правила, которые гуляют по интернету скорее всего вам не помогут. Рассмотрим пятый пункт подробнее.

Заходим в Метрику, фильтруем посетителей по прямым переходам.

IP Ростелекома в прямых переходах

Нас интересуют ip адреса наших ботов. В данном примере они идут с 5.139.240.0/20. Далее по желанию можно выяснить as номер сети (12389), которой пренадлежит подсеть или использовать 5.139.240.0/20 в правиле.

Блокировка IP Ростелекома в прямых переходах

Вариант с AS номером сети предпочтительней, если в Метрике обнаружите и другие ip Ростелекома. Заодно можете добавить ASN основых спамеров: 16509 (Amazon), 16276 (OVH), 14061 (Digital Ocean), 24940 (Hetzner).

Итог успешной настройки будет выглядеть так

Итог настройки Cloudflare от прямых заходов


Система хорошо фильтрует ботов, которые пытаются подражать поведению настоящих пользователей. Это особенно ценно, когда дело доходит до ухудшения поведенческих факторов. Но, как и в любой системе, не все так идеально. Всегда найдутся боты, которые каким-то образом умудряются обойти установленные правила. В таких ситуациях на помощь приходят IT-специалисты. Они могут детально изучить ситуацию, выявить и заблокировать опасные IP-адреса или же разработать новые, более эффективные правила для Cloudflare, чтобы усилить защиту. Это важно помнить, что полной безопасности не бывает, и к защите нужен комплексный подход.

Стоимость услуги от 5 000 ₽

Индвидуальная настройка Cloudflare

Всего два шага отделяют вас от результата

Выявить и устранить ботов

Заказать

Телеграмма

Самый быстрый и надежный способ связаться с нами

Благодарю, ваша заявка отправлена!
Адрес эл. почты должен быть указан верно, а также размер сообщения более 1 символа