Служебные страницы в индексе: откуда берутся и что с ними делать

У любого сайта, кроме самого простого, есть страницы, которые нужны для работы, но не предназначены для чтения. Корзина, оформление заказа, личный кабинет, страница результатов поиска по сайту, страницы сортировки каталога, служебные адреса форм, страницы подтверждения. Пользователь попадает на них по ходу дела, и это нормально. Ненормально, когда эти страницы оказываются в поисковом индексе.

Проблема выглядит безобидно: ну есть и есть, кому они мешают. На практике они мешают вполне ощутимо — размывают понимание сайта поисковыми системами, отбирают ресурс обхода у нужных страниц, попадают в выдачу вместо содержательных разделов и иногда становятся источником неприятных сюрпризов. Разберёмся, откуда они берутся, как их обнаружить и что с ними делать.

Что относится к служебным страницам

Список довольно устойчив от сайта к сайту.

Корзина и оформление заказа. Собственного содержания у них нет — только интерфейс. Для незалогиненного робота корзина всегда пустая, то есть в индекс попадает страница с текстом «в корзине ничего нет».

Личный кабинет и всё, что за авторизацией. Страницы входа, регистрации, восстановления пароля, разделы кабинета. Часть из них робот видит как форму входа, часть — как пустоту.

Результаты внутреннего поиска. Огромный источник мусора. Каждый запрос порождает адрес вида «поиск с параметром такой-то», и таких адресов может быть тысячи. Иногда их массово создают боты, подставляя произвольные слова.

Страницы сортировки и отображения. Один и тот же каталог, отсортированный по цене, по названию, по популярности, показанный списком или плиткой, по 20 или по 50 товаров на странице. Содержание одинаковое, адресов десятки.

Страницы фильтров без ценности. Сочетания фильтров, которые никто не ищет: три параметра сразу, дающие два товара в выдаче. Их количество растёт комбинаторно.

Страницы сравнения и избранного. Уникальны для каждого посетителя, для поиска бессмысленны.

Служебные адреса. Обработчики форм, страницы благодарности, технические разделы, тестовые страницы, оставшиеся с разработки.

Печатные версии страниц. Дубликат содержания по отдельному адресу.

Чем это вредит

Ресурс обхода тратится впустую. Поисковый робот обходит сайт не бесконечно — у каждого сайта есть некоторый объём обхода за период. Если половина этого объёма уходит на пять тысяч комбинаций фильтров и результатов поиска, то новые страницы услуг и свежие материалы обходятся медленнее. На небольшом сайте это малозаметно, на каталоге с десятками тысяч адресов — очень заметно.

Размывается понимание сайта. Когда в индексе много почти одинаковых страниц, системе сложнее определить, какая из них основная. В результате в ответ на запрос может показываться не нормальная страница категории, а её вариант с сортировкой по убыванию цены.

Странные страницы в выдаче. Самый наглядный симптом: человек ищет вашу компанию и видит в результатах страницу «Корзина пуста» или «По вашему запросу ничего не найдено». Это выглядит неаккуратно и снижает вероятность перехода.

Потерянные обращения. Человек, попавший на страницу результатов внутреннего поиска с нулевым результатом, обычно уходит. Он мог бы попасть на нормальную страницу категории и оставить заявку.

Утечка ненужного содержания. Иногда в индекс попадают тестовые страницы, черновики, страницы с внутренними пометками. Это уже не про эффективность, а про репутацию.

Лишняя нагрузка. Роботы, обходящие тысячи комбинаций фильтров, создают реальную нагрузку на сервер. На дешёвом хостинге это ощущается замедлением сайта для живых посетителей.

Как обнаружить проблему

Яндекс.Вебмастер, раздел с индексированием. Смотрим общее число страниц в поиске и число исключённых. Если в поиске значительно больше страниц, чем у вас реально есть содержательных разделов, — это первый сигнал. В разделе с обходом видно, какие адреса робот посещает чаще всего; там служебные страницы обычно бросаются в глаза сразу.

Поиск по своему сайту. Простейшая проверка: запросить в поисковой системе всё, что она знает о вашем домене, и полистать результаты. Долго, но наглядно — вы своими глазами увидите, что попало в индекс.

Логи сервера. Самый точный источник. По логам видно, какие адреса запрашивают роботы и сколько времени на это уходит. Если в логах тысячи обращений к адресам с параметрами поиска — проблема подтверждена.

Отчёт по страницам входа в Яндекс.Метрике. Показывает, на какие страницы люди попадают из поиска. Если среди них есть корзина или результаты внутреннего поиска — они точно в индексе и точно приводят посетителей не туда.

Проверка карты сайта. Иногда служебные адреса попадают прямо в карту сайта из-за ошибки в настройке модуля. Стоит открыть и посмотреть, что там перечислено.

Что с этим делать

Универсального рецепта нет, потому что разные типы страниц требуют разного обращения. Разберём по порядку.

Запрет в файле управления обходом. Подходит для страниц, которые роботу вообще незачем посещать: корзина, оформление, кабинет, служебные адреса. Простой и надёжный способ сэкономить ресурс обхода. Важно понимать ограничение: запрет обхода не гарантирует исчезновение из индекса, если на страницу ведут ссылки. Поэтому для страниц, которые уже проиндексированы, одного запрета мало.

Указание на отсутствие необходимости индексировать. Специальная метка в коде страницы, которая говорит поисковой системе не включать её в поиск. Работает надёжнее для уже проиндексированных страниц, но требует, чтобы робот страницу посетил и метку увидел. Отсюда важное правило: нельзя одновременно закрывать страницу от обхода и ставить на ней метку — робот просто не дойдёт до метки. Сначала метка и удаление из индекса, потом при желании запрет обхода.

Указание основной версии страницы. Для сортировок, вариантов отображения, печатных версий правильнее не запрещать, а указывать, какая страница считается основной. Тогда все варианты объединяются вокруг неё, и вес не размазывается.

Закрытие внутреннего поиска целиком. Результаты поиска по сайту в индексе не нужны почти никогда. Их закрывают от обхода полностью, и это одно из самых полезных действий на большом сайте.

Осмысленная работа с фильтрами. Здесь нужен разбор, а не сплошной запрет. Часть сочетаний фильтров — это реально востребованные страницы, под которые стоит делать отдельные разделы с собственными заголовками и текстами. Остальные комбинации закрываются. Разделять их нужно по данным: смотреть, какие фильтры реально используют посетители и какие формулировки встречаются в запросах.

Удаление адресов через Яндекс.Вебмастер. Для быстрого исчезновения уже проиндексированных служебных страниц есть инструмент удаления. Он ускоряет процесс, но работает только вместе с правильной настройкой на сайте — иначе страницы вернутся.

Переадресация. Если служебная страница когда-то была содержательной или на неё есть ссылки, лучше перенаправить её на подходящий раздел, а не просто закрыть.

Особенности в ХостСМС

В ХостСМС большая часть служебных адресов управляется на уровне настроек системы и шаблонов, и это упрощает задачу.

Корзина, оформление заказа, личный кабинет имеют фиксированные адреса, которые достаточно один раз перечислить в файле управления обходом.

Внутренний поиск работает через параметр в адресе — его закрывают одним правилом.

Для сортировок и вариантов отображения каталога в шаблоне выводится указание основной версии страницы. Это настраивается один раз и дальше работает для всех разделов.

Фильтры товаров формируют адреса по предсказуемой схеме, что позволяет закрыть все комбинации, оставив открытыми выбранные группы.

Карта сайта генерируется модулем и по умолчанию включает только информационные и товарные элементы — но настройки стоит проверить, особенно если сайт делали давно и структуру с тех пор меняли.

Отдельно стоит проверить страницы, оставшиеся от разработки: тестовые разделы, черновики, страницы-заглушки. В системе они обычно помечены как неактивные, но если элемент активен и не имеет ссылок в меню, он всё равно доступен и может попасть в индекс.

Как это связано с продвижением 3 в 1

На первый взгляд тема сугубо техническая, но она напрямую влияет на поток обращений во всех трёх каналах.

Поиск и нейропоиск. Когда ресурс обхода тратится на мусор, ваши содержательные страницы обходятся реже и обновления доходят до поиска медленнее. Для нейропоиска ситуация ещё чувствительнее: генеративный ответ собирается из страниц, которые система смогла разобрать и извлечь из них факты. Страница «в корзине пусто» никаких фактов не даёт. Чем чище структура сайта и чем больше в ней содержательных страниц относительно служебных, тем выше шанс, что при ответе на вопрос клиента будут процитированы именно вы.

Яндекс.Справочник и Яндекс Бизнес. Ссылки из карточки должны вести на нормальные страницы. Встречается ситуация, когда в карточке указан адрес с параметрами фильтра или сортировки — человек переходит и попадает на технический вариант страницы. Проверить ссылки в карточке — работа на пять минут, которая иногда обнаруживает застарелую проблему.

2ГИС. То же самое: адрес сайта и ссылки на услуги в карточке должны вести на основные версии страниц.

Общий принцип: чистая техническая структура не приносит обращений сама по себе, но её отсутствие тихо съедает часть потока во всех каналах. Мерить нужно не число страниц в индексе, а число обращений и качество страниц входа в Яндекс.Метрике — если люди из поиска попадают на служебные адреса, это прямые потери.

Обратная сторона: полезные страницы, закрытые по ошибке

Наводя порядок, легко перестараться. Есть категория страниц, которые выглядят служебными, но на деле приносят обращения, и закрывать их — прямая потеря.

Востребованные страницы фильтров. «Такое-то оборудование мощностью до 10 киловатт», «профиль такого-то размера», «услуга в таком-то районе» — это не мусор, а готовые ответы на конкретные запросы людей. Отличить их от мусорных можно по данным: смотрите в Яндекс.Метрике, на какие страницы фильтров люди заходят и с каких из них оставляют обращения. Востребованные сочетания стоит превратить в полноценные разделы с собственным заголовком, описанием и формой.

Страницы пагинации. Вторая, третья, десятая страница каталога. Их иногда закрывают целиком, и в результате часть товаров вообще перестаёт быть доступной для обхода. Правильнее оставлять их открытыми, но не давать им конкурировать с первой страницей.

Страницы с параметрами меток в ссылках. Адреса с рекламными метками технически являются дублями, но закрывать их запретом обхода нельзя — это ломает работу рекламы и учёт. Здесь нужно указание основной версии страницы, а не запрет.

Страницы благодарности после заявки. Их не нужно индексировать, но и закрывать от обхода нельзя: на них настроены цели в Яндекс.Метрике, и запрет может помешать корректному учёту в некоторых конфигурациях. Достаточно метки о неиндексировании.

Личный кабинет с полезным публичным разделом. Иногда за общим адресом кабинета скрывается открытая часть — например, отслеживание заказа или база документов. Сплошной запрет по началу адреса закроет и её.

Общее правило: перед закрытием любой группы адресов посмотрите, есть ли на них заходы и обращения. Пять минут в отчётах избавляют от потери потока, восстанавливать который потом придётся месяцами.

Типичные ошибки

Сплошной запрет всего подряд. В попытке навести порядок закрывают и полезные страницы фильтров, которые приносили обращения. Перед закрытием нужно смотреть данные.

Одновременный запрет обхода и метка о неиндексировании. Робот не видит метку, потому что не заходит на страницу. Страница остаётся в индексе годами.

Закрытие через файл управления обходом уже проиндексированных страниц. Они не исчезают, а просто перестают обновляться, и в выдаче остаётся старая версия.

Игнорирование внутреннего поиска. Самый частый и самый объёмный источник мусора, о котором вспоминают в последнюю очередь.

Разовая уборка без проверки. Настроили один раз и забыли. Через год добавили новый модуль, и он начал создавать новые служебные адреса.

Проверка только глазами. Без Яндекс.Вебмастера и логов реальная картина не видна: в индексе может быть в десять раз больше страниц, чем кажется.

Порядок действий

Посмотрите в Яндекс.Вебмастере, сколько страниц в поиске, и сравните с реальным числом содержательных разделов.

Просмотрите отчёт по обходу и логи сервера — выясните, какие адреса робот посещает чаще всего.

Проверьте страницы входа в Яндекс.Метрике: есть ли среди них служебные.

Составьте список типов служебных адресов на вашем сайте.

Для каждого типа выберите способ: запрет обхода, метка о неиндексировании, указание основной версии или переадресация.

Отдельно разберите фильтры: выделите востребованные сочетания в полноценные разделы, остальное закройте.

Проверьте карту сайта — в ней должны быть только содержательные адреса.

Через месяц вернитесь в Яндекс.Вебмастер и посмотрите, как изменилось число страниц в поиске и в исключённых.

Поставьте проверку в регламент: раз в квартал смотреть, не появились ли новые служебные адреса.

Если вы подозреваете, что поиск видит ваш сайт не так, как вы задумывали, а часть посетителей попадает не на те страницы — специалисты компании «Сайты Профессионально» бесплатно проведут техническую диагностику: посмотрят, что в индексе, куда уходит ресурс обхода и где теряются обращения. Мы девятнадцать лет занимаемся сайтами и регулярно находим на давно работающих проектах тысячи лишних адресов, о которых владельцы не подозревали.