Боты и парсеры на сайте: как отличить их от людей и снизить нагрузку

Посещаемость выросла в полтора раза, а обращений не прибавилось. Хостинг присылает письма о превышении лимитов, хотя ничего не менялось. Сайт стал подтормаживать по вечерам. Знакомая связка симптомов — и почти всегда за ней стоят не люди, а программы: поисковые роботы, парсеры конкурентов, сканеры уязвимостей и прочие автоматические посетители.

Разберём, кто эти гости, как отличить их от живых людей, чем они мешают и что с ними делать, не навредив себе.

Кто ходит на ваш сайт кроме людей

Полезные роботы

Роботы поисковых систем. Обходят сайт, чтобы знать о ваших страницах. Без них вас не найдут. Их визиты нужно приветствовать, но при этом управлять частотой — иногда они обходят слишком усердно и создают лишнюю нагрузку.

Роботы сервисов, которыми вы пользуетесь. Проверка доступности сайта, системы мониторинга, сервисы проверки ссылок и скорости.

Роботы социальных сетей и мессенджеров. Когда кто-то отправляет ссылку на ваш сайт в чате, робот заходит и забирает картинку с описанием для превью.

Нейтральные

Исследовательские и аналитические роботы. Собирают данные о сайтах для разных сервисов и рейтингов. Пользы вам не приносят, вреда обычно тоже, но нагрузку создают.

Роботы, собирающие данные для обучения моделей. Новая и растущая категория. Отношение к ним у владельцев сайтов разное — кто-то не возражает, кто-то ограничивает.

Вредные

Парсеры конкурентов. Систематически выкачивают ваш каталог, цены, описания, фотографии. Иногда для мониторинга, иногда для копирования содержимого целиком. Работают обычно ночью и с большой интенсивностью.

Сканеры уязвимостей. Перебирают типовые адреса панелей управления и служебных файлов, ищут дыры. Заходят на любой сайт постоянно, вне зависимости от его размера.

Программы подбора паролей. Долбятся в форму входа в административную часть, перебирая варианты.

Спам-роботы. Ищут формы обратной связи и заполняют их рекламой.

Накрутчики. Имитируют посещения, чтобы испортить статистику или, наоборот, изобразить популярность.

Чем они вредят

Искажают статистику. Часть роботов выполняет скрипты и попадает в счётчик. В результате вы видите рост посещаемости, радуетесь, а обращений нет. Хуже того — портятся показатели поведения: роботы заходят на одну страницу и уходят, из-за чего доля отказов растёт, а среднее время на сайте падает.

Создают нагрузку. Активный парсер способен генерировать тысячи запросов в час. Для небольшого хостинга это ощутимо: сайт замедляется, а на пиках отдаёт ошибки. Живые посетители в этот момент уходят.

Съедают лимиты. Трафик, процессорное время, количество запросов к базе — всё это на большинстве тарифов ограничено. Робот выбирает лимит, а платите вы.

Тратят внимание роботов поисковых систем впустую. Если у вас на сайте много бесполезных адресов — комбинации фильтров, сортировки, параметры — робот тратит обходы на них вместо реальных страниц. Новые материалы попадают в поиск медленнее.

Воруют содержимое. Скопированные описания товаров появляются на чужих сайтах. Иногда — раньше, чем ваши успевают проиндексироваться.

Забивают формы спамом. Менеджеры разгребают мусор вместо работы с настоящими обращениями, а настоящие теряются среди него.

Создают риск. Сканеры рано или поздно находят незакрытую дыру, если она есть.

Как отличить роботов от людей

По статистике

Резкий рост посещаемости без роста обращений. Первый признак.

Всплеск с одного источника или из одного региона. Особенно если регион не ваш.

Аномально короткие визиты. Одна страница, несколько секунд, ноль прокрутки.

Странное время суток. Пик активности в четыре часа ночи — не про людей.

Одинаковые характеристики. Одно и то же разрешение экрана, один и тот же браузер редкой версии, отсутствие поддержки привычных функций.

Ровное распределение по времени. Люди приходят волнами, роботы — равномерно, ровно столько-то запросов в минуту.

В Яндекс.Метрике есть встроенная фильтрация роботов, и в отчётах можно выбрать режим с их исключением. Пользуйтесь этим при оценке результатов — иначе цифры будут врать.

По логам сервера

Логи видят всех, поэтому это основной инструмент.

Смотрите:

• строку браузера. Добросовестные роботы честно представляются, и по названию видно, кто пришёл. Недобросовестные маскируются под обычный браузер — но выдают себя частотой обращений
• частоту запросов с одного адреса. Человек не открывает сорок страниц в минуту
• последовательность обхода. Люди ходят по ссылкам осмысленно, парсеры идут подряд по каталогу или перебирают адреса по шаблону
• обращения к несуществующим служебным адресам. Признак сканера уязвимостей
• отсутствие загрузки картинок и стилей. Люди грузят страницу целиком, парсеры часто берут только код.

По поведению на сайте

Записи визитов в Вебвизоре показывают наглядно: у робота нет движений указателя, нет прокрутки, нет пауз на чтение.

Что делать: от мягкого к жёсткому

Настроить правила обхода

Первый и главный инструмент — файл с правилами обхода в корне сайта. В нём указывается, какие разделы роботам посещать не нужно.

Что стоит закрывать:

• служебные разделы и панель управления
• страницы результатов внутреннего поиска
• комбинации фильтров и сортировок
• корзину, оформление заказа, личный кабинет
• страницы для печати и прочие технические дубли
• параметры отслеживания рекламных переходов.

Важно: добросовестные роботы эти правила соблюдают, недобросовестные — игнорируют. Поэтому файл решает задачу нагрузки от поисковых систем, но не защищает от парсеров.

Отдельно можно задать рекомендуемую паузу между обращениями. Это снижает нагрузку от активных, но полезных роботов.

Для роботов поисковых систем частоту обхода дополнительно настраивают в панели вебмастера — там есть отдельный раздел с этой настройкой.

Убрать лишние адреса

Часто проблема не в роботах, а в том, что сайт сам порождает бесконечное количество адресов. Каталог с пятью фильтрами даёт тысячи комбинаций, и робот честно пытается обойти их все.

Решения: закрывать параметры от обхода, указывать основной адрес страницы специальной пометкой, ограничивать количество одновременно применяемых фильтров, а страницы с редкими комбинациями делать недоступными для обхода.

Это одновременно снижает нагрузку и помогает поисковым системам сосредоточиться на действительно важных страницах.

Ограничить частоту обращений

Настройка на уровне веб-сервера: не больше стольких-то запросов в минуту с одного адреса. Превышение — временная блокировка.

Это эффективная мера против парсеров, но настраивать её надо аккуратно, чтобы не задеть живых посетителей и полезных роботов. Например, за большим офисом может стоять один общий адрес, и десяток сотрудников создадут много запросов.

Настройка обычно делается администратором сервера или через панель хостинга.

Блокировать конкретных нарушителей

Если в логах виден адрес, с которого идут тысячи запросов, его можно заблокировать. Способы: настройки веб-сервера, файрвол, панель хостинга.

Минус в том, что парсеры меняют адреса. Точечная блокировка помогает против ленивых, но не против настойчивых.

Можно блокировать и по названию программы, если робот честно представляется. Против маскирующихся не работает.

Использовать защитные сервисы

Существуют сервисы, которые фильтруют трафик до того, как он дойдёт до вашего сервера: отделяют роботов, отбивают атаки, ограничивают частоту. Есть российские решения, работающие через подключение вашего домена к их инфраструктуре.

Это самый надёжный способ, но он стоит денег и добавляет ещё один узел в цепочку. Имеет смысл при большом каталоге, серьёзной нагрузке или регулярных проблемах.

Защитить формы от спама

Отдельная задача со своими средствами:

Скрытое поле-ловушка. Поле, невидимое для человека, но видимое для робота. Заполнено — значит, робот. Простой и незаметный для пользователей метод.

Проверка времени заполнения. Форма, отправленная через полторы секунды после загрузки страницы, заполнена не человеком.

Проверочный вопрос или картинка. Работает, но снижает количество обращений от живых людей. Ставьте только если другие меры не помогли.

Ограничение частоты отправки с одного адреса.

Проверка содержимого. Отсечение сообщений со ссылками, если ссылки в ваших заявках не нужны.

Подробнее о борьбе со спамом в формах у нас есть отдельный материал — здесь важно, что это часть общей темы автоматических посетителей.

Защитить административную часть

Смените стандартный адрес входа, если система это позволяет. Большая часть автоматических попыток идёт по типовым адресам.

Ограничьте вход по адресам, если сотрудники работают из фиксированных мест.

Включите двухфакторную проверку.

Ограничьте количество попыток входа с временной блокировкой после нескольких неудач.

Используйте сложные пароли. Банально, но именно простые пароли остаются главной причиной взломов.

Чего делать не стоит

Блокировать всех подряд. Заблокировав робота поисковой системы, вы исчезнете из поиска. Проверяйте, кого блокируете.

Ставить проверочные картинки везде. Каждая такая проверка снижает количество обращений от живых людей. Это последнее средство, а не первое.

Закрывать сайт от обхода целиком в попытке защитить содержимое. Тогда вас не найдут — и защищать будет нечего.

Игнорировать проблему. Нагрузка растёт, статистика врёт, решения принимаются на основе неверных цифр.

Паниковать при каждом всплеске. Часть роботов безобидна. Сначала разберитесь, кто пришёл и что делает.

Как понять, что меры сработали

Нагрузка на сервер. Смотрите графики в панели хостинга: расход процессорного времени, количество запросов, объём переданных данных.

Скорость сайта. Должна стать стабильнее, особенно в часы, когда раньше было плохо.

Статистика. Посещаемость может упасть — и это хорошая новость, если одновременно вырастет доля визитов с нормальным поведением и не изменится количество обращений.

Показатели поведения. Доля отказов и время на сайте должны стать реалистичнее.

Обход роботами. В панели вебмастера видно, сколько страниц обходится и сколько попадает в поиск. После наведения порядка полезные страницы обычно начинают обходиться чаще.

Количество спама в формах.

Количество обращений. Главный показатель. Оно не должно упасть — если упало, вы перекрыли что-то лишнее.

Короткий план

1. Скачайте логи за неделю и посмотрите, кто чаще всего обращается к сайту.
2. Разделите гостей на полезных, нейтральных и вредных.
3. Проверьте и приведите в порядок файл с правилами обхода.
4. Закройте от обхода служебные адреса, фильтры и результаты поиска.
5. Настройте частоту обхода для поисковых роботов в панели вебмастера.
6. Включите ограничение частоты запросов на сервере.
7. Заблокируйте явных нарушителей.
8. Защитите формы ловушкой и проверкой времени заполнения.
9. Закройте административную часть от подбора паролей.
10. Через две недели сравните нагрузку, скорость и количество обращений.

Итог

Автоматические посетители — обычная часть жизни любого сайта. Проблема не в их существовании, а в том, что их не разделяют: полезных не пускают, вредных не ограничивают, а статистику читают вместе с ними и делают неверные выводы.

Наведение порядка занимает несколько часов и даёт сразу несколько эффектов: сервер разгружается, сайт работает стабильнее, статистика начинает отражать реальность, а поисковые роботы тратят внимание на нужные страницы, а не на бесконечные комбинации фильтров.

И главное — вы перестаёте принимать решения на основе цифр, в которых половина посетителей никогда ничего у вас не купит просто потому, что это программы.

Если ваш сайт получает предупреждения о нагрузке, странно себя ведёт по ночам или показывает трафик без обращений, специалисты компании «Сайты Профессионально» разберут логи, определят источники автоматических обращений и настроят защиту так, чтобы полезные роботы остались, а лишняя нагрузка ушла. Диагностику проводим бесплатно — напишите нам, и мы посмотрим, кто на самом деле ходит на ваш сайт.