Ограничение доступа ботов по регионам: нагрузка, статистика и спам

Открываете статистику сайта и видите странное: посещений стало вдвое больше, а заявок столько же. Смотрите внимательнее — половина визитов из стран, где у вас нет ни одного клиента, длительность посещения ноль секунд, страницы открываются по десятку в минуту. Это не люди. Это автоматические программы, которые нагружают сервер, портят статистику и иногда собирают ваш каталог для конкурентов. Разберём, что с этим делать и когда стоит ограничивать доступ по географии.

Кто и зачем ходит на ваш сайт

Не все автоматические посетители одинаковы, и это важно понимать до того, как что-то ограничивать.

Поисковые роботы. Роботы Яндекса и других поисковых систем обходят сайт, чтобы он находился. Их трогать нельзя ни в коем случае — без них сайт исчезнет из поиска. Сюда же относятся роботы нейропоиска, которые собирают информацию для генеративных ответов: их стало заметно больше, и они тоже полезны.

Роботы сервисов, которыми вы сами пользуетесь. Проверка доступности, аналитика, сервисы вебмастера, платёжные системы. Их тоже трогать нельзя.

Сборщики содержимого. Программы, которые методично скачивают ваш каталог: названия, цены, фотографии, описания. Обычно это конкуренты или агрегаторы. Они создают серьёзную нагрузку и передают ваши данные тем, кому вы их передавать не собирались.

Сканеры уязвимостей. Перебирают адреса административных разделов, пробуют типовые пароли, ищут известные дыры. Это фоновый шум интернета, он идёт на любой сайт круглосуточно.

Спам-боты. Заполняют формы обратной связи рекламой и мусором. Отдельная головная боль: они и нагружают, и засоряют почту, и портят статистику по заявкам.

Накрутчики и мусорный трафик. Иногда сайт начинает получать поток визитов, который выглядит как люди, но ведёт себя неестественно. Такое бывает после попадания адреса в какие-нибудь списки.

Первые две группы нужны. Остальные — чистые издержки.

Чем это вредит на самом деле

Легко отмахнуться: сервер справляется, и ладно. Но издержки вполне конкретны.

Нагрузка на хостинг. Сборщик, который обходит каталог из десяти тысяч позиций, генерирует нагрузку, сопоставимую с сотнями реальных посетителей. На обычном тарифе это приводит к замедлению сайта для настоящих людей — а медленный сайт теряет обращения.

Превышение лимитов. Хостинг может ограничить сайт или потребовать перехода на дорогой тариф. Деньги уходят на обслуживание чужих программ.

Искажение статистики. Вы не понимаете, сколько людей реально приходит, какая конверсия, какие страницы работают. Решения принимаются по кривым данным. Особенно обидно, когда на этом основании сворачивают рабочее направление.

Мусорные заявки. Спам в формах отнимает время менеджеров и притупляет внимание: среди двадцати мусорных обращений теряется одно настоящее.

Утечка каталога. Ваши цены, описания и фотографии оказываются у конкурента. Отдельная неприятность — когда ваши тексты появляются на чужом сайте, и поисковые системы не могут понять, кто автор.

Риск взлома. Сканеры уязвимостей — это разведка. Если найдут слабое место, попробуют им воспользоваться.

Как понять, что проблема есть

Несколько простых проверок.

Расхождение между Яндекс.Метрикой и статистикой хостинга. Метрика считает в основном людей, потому что работает через скрипт в браузере. Статистика сервера считает все обращения. Если сервер показывает в пять-десять раз больше — разница и есть автоматический трафик. Небольшое расхождение нормально, кратное — нет.

Логи сервера. Самый точный источник. Там видно, с каких адресов, как часто и какие страницы запрашиваются. Характерные признаки сборщика: сотни запросов в минуту, последовательный обход каталога, отсутствие загрузки картинок и стилей.

Отчёты Яндекс.Метрики по географии. Если видите заметную долю визитов из регионов, где у вас нет ни клиентов, ни рекламы, — стоит присмотреться.

Показатель отказов и время на сайте. Визиты длительностью в несколько секунд с одной просмотренной страницей, идущие потоком, — типичный признак.

Нагрузка по часам. Люди приходят днём. Если нагрузка ровная круглые сутки или пики приходятся на ночь — работают программы.

Количество спама в формах. Прямой и очевидный показатель.

Что можно сделать: от мягкого к жёсткому

Важный принцип: начинать надо с мягких мер. Резкие ограничения легко задевают полезных роботов и настоящих людей.

### Правила для роботов

Файл с правилами обхода в корне сайта — первое, что стоит привести в порядок. В нём указывается, какие разделы обходить не нужно: служебные страницы, результаты фильтрации, корзина, личный кабинет, страницы поиска по сайту.

Важно понимать ограничение: добросовестные роботы эти правила соблюдают, недобросовестные — нет. Поэтому это мера против лишней нагрузки от нормальных роботов, а не против сборщиков.

Отдельно стоит проверить, не закрыли ли вы случайно что-то нужное. Такое случается часто: в попытке снизить нагрузку закрывают целые разделы, и они пропадают из поиска вместе с обращениями.

### Ограничение частоты запросов

Более действенная мера: сервер отслеживает, сколько запросов приходит с одного адреса за короткое время, и при превышении начинает отвечать медленнее или временно блокирует.

Настраивается на уровне сервера. Порог нужно подбирать аккуратно: обычный человек, быстро листающий каталог, может делать довольно много запросов, а несколько сотрудников одной организации выходят в интернет с одного адреса.

Это самая универсальная мера, потому что она не разбирается, кто перед ней, а реагирует на поведение.

### Блокировка по признакам программы

Каждая программа представляется при обращении. Известных сборщиков и сканеров можно блокировать по этому признаку. Минус: признак легко подделать, и серьёзные сборщики маскируются под обычный браузер.

Тем не менее это отсекает заметную часть фонового шума и делается за пять минут.

### Ограничение по географии

Теперь к главной теме. Если ваш бизнес работает только в России, а половина нагрузки идёт из других стран, логично ограничить доступ по региону.

Когда это оправдано:

- Услуги строго локальные: монтаж, ремонт, выездные работы, местная розница. - Нагрузка из-за рубежа заметно превышает полезную. - Идёт активный сбор каталога с зарубежных адресов. - Много спама в формах из определённых регионов.

Когда этого делать не стоит:

- У вас есть или могут появиться клиенты из других стран. - Вы работаете с поставщиками или партнёрами за рубежом. - Ваши сотрудники или подрядчики бывают в поездках и заходят в административную часть. - Вы не уверены, что сможете корректно настроить исключения.

Ключевое предупреждение. Полная блокировка целых стран — грубый инструмент. Часть роботов поисковых систем и сервисов, которыми вы пользуетесь, обращается с зарубежных адресов. Если заблокировать их, сайт может выпасть из поиска, а сервисы аналитики перестанут работать. Поэтому при любой географической фильтрации обязательно делаются исключения для роботов поисковых систем и нужных вам сервисов.

Более мягкий вариант: ограничивать не весь сайт, а отдельные части. Например, закрыть по географии только вход в административную часть и только отправку форм, оставив сам сайт открытым для всех. Это снимает большую часть рисков, почти ничем не жертвуя.

### Защита форм

Отдельная задача — спам в заявках. Здесь работают:

- Скрытое поле-ловушка. Поле, невидимое человеку, но заполняемое роботом. Если заполнено — заявка отбрасывается. Простой и не мешающий людям метод. - Проверка времени заполнения. Человек не заполняет форму за полсекунды. - Проверка кода подтверждения. Работает, но снижает количество настоящих заявок, поэтому включать стоит только при серьёзном потоке спама. - Ограничение количества отправок с одного адреса.

Важное предостережение: слишком агрессивная защита отсекает настоящих клиентов, и вы об этом не узнаете. Это одна из самых частых причин тихой потери обращений. После настройки любой защиты обязательно отправьте несколько тестовых заявок с разных устройств и убедитесь, что они доходят.

### Профессиональные решения

Существуют сервисы, которые берут на себя фильтрацию трафика: анализируют поведение, отличают людей от программ, блокируют вредное. Имеет смысл при серьёзных объёмах. Для небольшого сайта обычно достаточно настроек на уровне сервера и системы управления сайтом.

Как это связано с продвижением «3 в 1»

Тема выглядит чисто серверной, но она напрямую влияет на все три канала обращений.

Поиск. Здесь два эффекта, и оба важные. Первый: мусорная нагрузка замедляет сайт, а скорость влияет и на поведение людей, и на то, как сайт оценивают поисковые системы. Второй, более опасный: неаккуратная блокировка может закрыть доступ полезным роботам. Особенно это касается роботов нейропоиска — они обходят сайты, чтобы собирать информацию для генеративных ответов, и их стало много. Если их заблокировать, сайт перестанет попадать в такие ответы, и вы потеряете канал, который только набирает вес. Поэтому при любой фильтрации первым делом составляется список того, что трогать нельзя: роботы поисковых систем, роботы нейропоиска, сервисы вебмастера и аналитики.

Яндекс.Справочник. Карточка в Яндекс Картах и Яндекс Бизнесе живёт отдельно от сайта и не страдает от нагрузки. Но есть связь: если сайт медленный или временно недоступен из-за сборщиков, переход из карточки на сайт приводит человека в никуда. Проверять доступность сайта с внешних точек стоит регулярно, и статистика переходов из карточки — хороший косвенный индикатор: если переходы есть, а обращений нет, возможно, люди не дожидаются загрузки.

2ГИС. То же самое. Плюс отдельная особенность: аудитория приложения часто заходит с мобильного интернета, который и без того медленнее. Сайт, отягощённый мусорной нагрузкой, для них становится почти неработоспособным.

Общий смысл: фильтрация трафика — это не борьба за чистоту статистики ради статистики. Это про то, чтобы сайт быстро открывался у настоящих людей из всех трёх каналов, и чтобы данные, по которым вы принимаете решения, отражали реальность.

Кстати, о данных. Очистив статистику от автоматического трафика, вы часто обнаруживаете, что реальная конверсия у вас гораздо выше, чем казалось, а посетителей меньше. Это меняет понимание того, что работает: страницы, которые выглядели неэффективными, оказываются нормальными, просто их «разбавляли» роботы.

Чего делать точно не стоит

Блокировать всё подряд по первому подозрению. Каждая блокировка — риск задеть нужное.

Закрывать сайт от индексации целиком. Иногда в панике закрывают доступ всем роботам. Через пару недель сайт исчезает из поиска, и восстановление занимает месяцы.

Ставить жёсткую проверку на все формы. Спам уйдёт, но вместе с ним уйдёт часть заявок.

Ограничивать по географии без исключений. Обязательно должны быть прописаны исключения для полезных роботов и для ваших сотрудников.

Настраивать и не проверять. После любой настройки надо: отправить тестовые заявки, проверить сайт через сервисы вебмастера, посмотреть, продолжают ли роботы поисковых систем обходить сайт.

Игнорировать проблему. Другая крайность. «Сервер справляется» работает ровно до момента, когда перестаёт справляться — обычно в самый неподходящий момент, при всплеске спроса.

Порядок действий

1. Оценить масштаб. Сравнить данные Яндекс.Метрики и статистики сервера, посмотреть логи, оценить долю автоматических обращений. 2. Понять, кто именно ходит. Разделить полезных роботов, сборщиков и сканеры. 3. Составить список исключений — тех, кого трогать нельзя. 4. Привести в порядок правила обхода и убрать из них лишние запреты. 5. Настроить ограничение частоты запросов на уровне сервера. 6. Заблокировать явных сборщиков по признакам. 7. Защитить формы мягкими методами, начиная с поля-ловушки. 8. Рассмотреть географическое ограничение — сначала для административной части и форм, и только при необходимости шире. 9. Проверить всё: тестовые заявки, обход роботами, доступность сайта, скорость загрузки. 10. Понаблюдать неделю за нагрузкой, обращениями и данными Яндекс.Вебмастера.

Про систему управления сайтом

Часть задач решается на уровне системы управления, и здесь многое зависит от того, что она умеет из коробки. На ХостСМС есть штатные средства: ограничение доступа к административной части по адресам, защита форм, ведение журнала обращений к сайту, кеширование, которое резко снижает нагрузку от массовых обходов, и настройка правил для роботов из административной части. Это важно, потому что часть мер нужно уметь оперативно включать и выключать, не дожидаясь программиста.

Из распространённых альтернатив 1С-Битрикс тоже имеет встроенные механизмы защиты и кеширования, но требовательнее к серверу; ВордПресс обычно обвешивают плагинами безопасности, которые сами по себе создают нагрузку и нередко конфликтуют между собой.

Отдельно стоит сказать про кеширование. Часто самый простой способ справиться с мусорной нагрузкой — не блокировать её, а сделать так, чтобы она была дешёвой. Правильно настроенное кеширование позволяет отдавать страницы, не обращаясь к базе данных, и тогда даже интенсивный обход почти не сказывается на скорости для настоящих людей.

Коротко о главном

Автоматический трафик есть на любом сайте, и часть его полезна, а часть — чистые издержки: нагрузка, искажённая статистика, спам в формах, утечка каталога. Разбираться нужно по порядку: сначала понять масштаб по логам и расхождению с Яндекс.Метрикой, потом отделить полезных роботов от вредных, потом применять меры от мягких к жёстким — правила обхода, ограничение частоты запросов, блокировка явных сборщиков, защита форм и только затем географические ограничения, обязательно с исключениями. И после каждой настройки — проверка, что заявки доходят, а поисковые роботы, включая роботов нейропоиска, продолжают обходить сайт.

Если вы видите непонятную нагрузку, странную статистику или спам в формах, — специалисты компании «Сайты Профессионально» проведут бесплатную диагностику. Посмотрим логи сервера, сравним данные с Яндекс.Метрикой, определим, кто и зачем ходит на ваш сайт, проверим, не заблокировано ли случайно что-то нужное, и предложим набор мер под вашу ситуацию. Диагностика бесплатная и ни к чему не обязывает.