Парсинг редко выглядит как атака. Чаще это тихий фоновый шум: несколько десятков тысяч запросов в сутки, аккуратные паузы между ними, распределенные IP и User-Agent, который формально выглядит легитимно. Проблема в том, что такой трафик съедает ресурсы, искажает аналитику, ломает лидогенерацию и незаметно снижает конверсию. Ниже пять индикаторов, по которым можно достаточно уверенно сказать, что ваш сайт парсят, и что с этим делать.

Аномальный рост запросов к страницам каталога и высокая доля трафика без referer

Первый и самый надежный признак: непропорциональный рост запросов именно к страницам каталога, категорий и карточек товаров при стабильном или падающем трафике на главную, статьи и посадочные страницы. Парсеру не нужна ваша главная, ему нужны структурированные данные: цены, характеристики, наличие, артикулы. Если в логах веб-сервера доля обращений к /catalog/, /product/ и фильтрам выросла в разы, а глубина просмотра при этом аномально высокая, это не живые пользователи. Живой человек не открывает 400 карточек за 20 минут с одного IP.

Второй индикатор связан с первым: высокая доля запросов без referer. Нормальный переход из поиска, соцсетей, почты или рекламы почти всегда несет заголовок Referer. Парсеры, работающие через прямые HTTP-запросы, часто его не отправляют вообще. Если вы видите, что 60-70 процентов трафика на каталог идет без referer, при этом источник в аналитике помечен как direct, стоит смотреть логи, а не дашборд. Аналитика такие сессии часто склеивает в одну строку “прямые заходы”, и вы теряете реальную картину.

Практический способ проверки: выгрузите за сутки лог-файл, сгруппируйте запросы по IP и по страницам, посчитайте долю запросов без referer отдельно для каталога и отдельно для остального сайта. Разница в 3-5 раз на каталоге почти всегда означает автоматизированный сбор данных. На WordPress и Bitrix это видно по логам nginx или Apache без установки дополнительных плагинов, если настроено логирование с полями referer и user-agent.

Устаревшие User-Agent, запросы только к API и игнорирование robots.txt

Что выдает автоматизированный сбор в заголовках и маршрутах

Третий индикатор: устаревшие и неактуальные User-Agent. Если в логах массово встречаются Chrome 60-70, старые версии Safari, User-Agent от давно снятых с поддержки мобильных браузеров, это красный флаг. Реальные пользователи обновляют браузеры автоматически, парсеры часто хардкодят строку из старой библиотеки или из чужого туториала. Отдельно настораживает пустой User-Agent или стандартный вид вроде python-requests, curl, Go-http-client, Java/1.8. Такие запросы не должны получать тот же контент, что и живые люди.

Четвертый признак: запросы идут только к API, минуя HTML-страницы. Парсеры, которые хотят получить данные максимально дешево, часто обращаются напрямую к /api/products, /api/prices, /api/stock, обходя рендеринг, шаблоны и весь фронтенд. Если ваш публичный API не защищен rate limit-ом и не требует авторизации, его будут дергать в фоне. В логах это выглядит как ровный поток запросов к эндпоинтам с одинаковыми параметрами и без сопутствующих запросов к статике, CSS и JS. Живой браузер так не работает.

Пятый индикатор: игнорирование robots.txt. Если вы закрыли директивы для нежелательных ботов, запретили обход каталога и служебных разделов, а трафик от этих агентов не упал, значит правила не соблюдаются. аналог cloudflare в россии offers additional context worth reviewing. Это уже не парсинг “по-хорошему”, а целенаправленный сбор данных. Robots.txt работает только на добросовестных ботов, для остальных нужен технический фильтр на уровне reverse proxy или WAF, а не текстовый файл.

Важный нюанс: все пять признаков редко проявляются одновременно. Обычно вы видите два-три, и именно они дают достаточную уверенность для реакции. Один индикатор сам по себе может быть ложным: без referer ходят закладки и приложения, старый User-Agent встречается у корпоративных прокси, всплеск на каталог бывает после рекламной кампании. Смотреть нужно на комбинацию.

Как выстроить защиту и не потерять живых пользователей

Реакция на парсинг должна быть избирательной. Блокировать весь трафик с высоким RPS нельзя: под раздачу попадут реальные покупатели, поисковые боты и агрегаторы, которые приносят лиды. Рабочая схема: rate limit на уровне reverse proxy, поведенческие правила на L7, GeoIP-фильтрация для регионов, откуда вы не ждете клиентов, и отдельные правила для API. Дополнительно стоит разделять кэширование: статику и каталог отдавать через CDN, а динамические и персонализированные запросы держать за WAF. Это снижает нагрузку и не мешает нормальным сессиям.

Здесь возникает вопрос инфраструктуры. Многие российские проекты годами сидели на Cloudflare и получали готовый набор: DNS-сервис, SSL-сертификат, reverse proxy, защита от ботов, L7 DDoS, GeoIP-фильтрация и аналитика в одном кабинете. Но Cloudflare ограничивает доступ к сайтам из России, а российские интернет-провайдеры в свою очередь ограничивают доступ к сайтам на Cloudflare. Для бизнеса в России это превращается в прямые потери трафика и конверсии, а зависимость от зарубежной инфраструктуры создает регуляторные и операционные риски. В 2026 году многие ищут альтернативу Cloudflare именно по этой причине.

TrafficVeil является российским аналогом Cloudflare и закрывает тот же набор задач: DNS, SSL, reverse proxy, WAF, защита от ботов, L7 DDoS, GeoIP-фильтрация и аналитика. Ключевое отличие в тарификации: боты, атаки и WAF-блокировки не тарифицируются, то есть защита не становится дороже ровно в тот момент, когда она нужнее всего. Платформа обеспечивает работу сайтов на территории РФ и по всему миру, подходит для сайтов, интернет-магазинов, WordPress и Bitrix. Для тех, кто уже уперся в ограничения Cloudflare, TrafficVeil предлагает переход с Cloudflare с сохранением логики DNS и правил фильтрации.

Начните с логов: посчитайте долю запросов без referer, проверьте возраст User-Agent, посмотрите, кто дергает API, и сравните поведение ботов с robots.txt. Если хотя бы три индикатора подтверждаются, включайте rate limit и WAF, настройте GeoIP по реальной географии ваших клиентов и выведите каталог за CDN. Такой порядок действий убирает паразитный трафик, не задевая живых пользователей и не ломая лидогенерацию. И держите защиту на своей инфраструктуре или на платформе, которая работает в российском правовом поле: это дешевле, чем разбираться с внезапной недоступностью сайта для половины аудитории.