Большой каталог в поиске: почему часть товаров не индексируется

В каталоге интернет-магазина сорок тысяч товаров. Владелец открывает Яндекс.Вебмастер и видит: в поиске — четыре тысячи страниц. Остальные тридцать шесть тысяч существуют только на сайте. Их никто не найдёт, потому что для поисковых систем их фактически нет.

Каждая такая страница — это потенциальные обращения, которых не будет. Причём речь о самом качественном трафике: человек, который ищет конкретный товар по названию или артикулу, приходит с намерением купить.

Проблема характерна именно для больших каталогов и почти не встречается на маленьких сайтах. Разберём, почему так происходит и что с этим делать.

Почему часть каталога не попадает в поиск

Поисковая система не обходит сайт целиком за один раз. Она выделяет на него ограниченный ресурс: сколько страниц обойти, как часто возвращаться. Ресурс зависит от того, насколько сайт быстрый, насколько он авторитетный, насколько часто на нём появляется что-то новое.

Если страниц миллион, а обходится тысяча в сутки, полный круг займёт больше двух лет. За это время каталог трижды изменится.

Отсюда основной принцип работы с большими каталогами: ресурс обхода надо тратить на то, что приносит обращения, и не тратить на мусор.

Проблема в том, что на типичном большом сайте мусора генерируется в разы больше, чем полезных страниц.

Главный пожиратель ресурса: фильтры

Каталог с фильтрами по цене, бренду, цвету, размеру и десятку характеристик способен породить астрономическое число адресов. Каждое сочетание параметров — отдельный адрес. Сочетаний — миллионы.

Большинство из них бесполезны: пустые выборки, комбинации, которые никто не ищет, дубли одного и того же набора товаров в разном порядке сортировки.

Что с этим делать:

Определить полезные комбинации. Обычно это один-два параметра, по которым реально ищут: «бренд плюс категория», «категория плюс размер». Такие страницы стоит оставить открытыми и оформить как полноценные — со своим заголовком, описанием, адресом.

Всё остальное закрыть от обхода. Многопараметрические комбинации, сортировки, постраничные срезы внутри фильтров.

Убрать из адресов служебные параметры. Идентификаторы сессий, метки, параметры сортировки — всё, что не меняет содержимое, не должно порождать новые адреса.

Указать основной адрес. Для страниц, которые всё же дублируются, нужно явно обозначать, какая версия основная.

Эта работа обычно даёт самый большой эффект: освободившийся ресурс обхода перенаправляется на реальные товары.

Вторая причина: слишком глубокая вложенность

Чем больше кликов от главной страницы до товара, тем меньше шансов, что до него доберутся.

Плохая структура выглядит так: главная → раздел → подраздел → под-подраздел → список с постраничной навигацией → страница 47 → товар. Это семь-восемь уровней, и товары с сорок седьмой страницы списка практически недостижимы.

Что помогает:

Сокращение уровней вложенности. Три-четыре уровня до товара — разумный ориентир.

Осмысленная постраничная навигация. Не только «следующая», но и ссылки на несколько страниц вперёд и на последнюю. Тогда до глубоких страниц можно добраться за несколько переходов, а не за сорок семь.

Блоки перелинковки в карточках. «Похожие товары», «с этим покупают», «другие товары этого бренда», «аналоги». Это не только повышает продажи, но и создаёт пути к товарам, до которых иначе не дойти.

Страницы-подборки. Тематические списки, объединяющие товары из разных разделов, — дополнительные точки входа и дополнительные пути обхода.

Разделы «новинки» и «недавно добавленные». Помогают быстро находить свежие позиции.

Третья причина: страницы-сироты

Страница-сирота — это товар, на который на сайте нет ни одной ссылки. Попасть на него можно только через внутренний поиск или по прямому адресу.

Такое случается, когда товар выгружен из системы учёта, но не привязан ни к одному разделу. Или когда раздел, в котором он лежал, скрыли, а товары остались.

Обнаружить сирот можно, сравнив полный список товаров в базе со списком страниц, до которых можно дойти по ссылкам. Расхождение и есть сироты.

Лечится привязкой к разделам, включением в подборки и в карту сайта.

Четвёртая причина: дубли

Одна и та же карточка доступна по нескольким адресам — через разные разделы, через фильтры, через поиск, с параметрами и без.

Ресурс обхода тратится на одно и то же содержимое многократно, а поисковая система вынуждена решать, какую версию считать основной.

Решение: у каждого товара один основной адрес, все остальные варианты либо перенаправляются на него, либо явно указывают на основной.

Пятая причина: карта сайта не справляется

Для большого каталога карта сайта — обязательный инструмент, но её часто делают неправильно.

Она не обновляется. Сгенерировали год назад, с тех пор добавились тысячи товаров, которых в карте нет.

Она слишком большая. Есть ограничения на размер и число адресов в одном файле. Для больших каталогов нужен набор файлов с общим указателем.

В неё попадают закрытые от обхода страницы. Противоречивый сигнал: в карте есть, а обходить запрещено.

В неё попадают несуществующие адреса. Товары давно удалены, а в карте остались.

Нет дат изменения. Без них непонятно, что обновилось и что стоит переобойти в первую очередь.

Правильная карта для большого каталога генерируется автоматически, разбивается на файлы по разделам, обновляется по расписанию и содержит только реально существующие открытые страницы. В ХостСМС это делается штатным модулем — важно только проверить, что он настроен и работает по расписанию.

Шестая причина: сайт слишком медленный

Если страницы каталога отдаются секунду и больше, за отведённое время успевает обойтись меньше страниц. На маленьком сайте это незаметно, на большом — определяющий фактор.

Что обычно тормозит каталог:

• тяжёлые запросы к базе при формировании списков;
• отсутствие кэширования на страницах, которые меняются редко;
• изображения без оптимизации в списках по сотне товаров на странице;
• подсчёт количества товаров в каждой ветке фильтра при каждой загрузке;
• слабый хостинг, не рассчитанный на такой объём.

Ускорение каталога — это не только про удобство посетителей, но и напрямую про то, какая доля товаров вообще попадёт в поиск.

Как проверить, что происходит

Яндекс.Вебмастер, раздел индексирования. Показывает, сколько страниц в поиске, сколько исключено и по каким причинам. Раздел с исключёнными страницами — самое информативное место: там видно, что именно и почему не попало.

Статистика обхода. Показывает, сколько страниц обходится в сутки и какие именно. Если обход тратится на страницы фильтров и служебные адреса, это видно сразу.

Сравнение с базой. Выгрузите список всех товаров и сравните с тем, что в поиске. Разница — ваш резерв.

Проверка по разделам. Часто выясняется, что один раздел проиндексирован полностью, а другой почти не представлен. Это указывает на структурную проблему именно в нём.

Внутренний поиск и логи сервера. Показывают, какие страницы реально запрашиваются и как ведёт себя обход.

Как это связано с продвижением 3 в 1

Индексация каталога кажется чисто технической задачей, но она определяет объём обращений из всех источников.

Поиск. Прямая связь: страница, которой нет в поиске, не приведёт ни одного обращения. Причём в каталогах особенно ценны глубокие страницы — по конкретным моделям и артикулам приходят люди с готовым намерением купить. Отдельно про нейропоиск: генеративные ответы на вопросы вроде «где купить такую-то деталь» или «какие бывают такие-то товары» собираются из источников, которые доступны и содержат конкретику. Карточка товара с полными характеристиками, ценой, наличием и применимостью — хороший материал для цитирования. Но только если она вообще доступна для обхода.

Яндекс Справочник. В карточке компании есть раздел товаров и услуг, и его можно наполнять. Для магазина это дополнительная витрина: человек видит товары прямо в карточке, не заходя на сайт. Наполнять её стоит теми же данными, что и каталог, — и это отдельный канал, не зависящий от индексации сайта.

2ГИС. Аналогично: категории товаров и услуг в карточке. Аудитория приложения ищет «где купить рядом» — и попадает не на карточку товара, а на карточку организации.

Практический вывод: пока каталог не проиндексирован, карточки на картах частично компенсируют потерю — они дают обращения даже при неработающем поиске по каталогу. Но полностью заменить его не могут: человек, ищущий конкретный артикул, через карты вас не найдёт. Работа только над одним каналом здесь особенно наглядно даёт неполный результат.

Порядок работ

Если каталог проиндексирован плохо, разумный порядок такой.

Первое — остановить утечку ресурса. Закрыть от обхода бессмысленные комбинации фильтров, сортировки и служебные параметры. Это даёт быстрый эффект.

Второе — починить карту сайта. Автоматическая генерация, разбиение на файлы, регулярное обновление, только существующие открытые страницы.

Третье — убрать дубли. Один товар — один основной адрес.

Четвёртое — сократить путь до товара. Пересмотреть структуру разделов, добавить перелинковку, улучшить постраничную навигацию.

Пятое — найти и привязать сирот.

Шестое — ускорить каталог. Кэширование, оптимизация запросов и изображений.

Седьмое — наполнить карточки содержанием. Страница товара без характеристик, без описания и без цены имеет мало шансов, даже если её обойдут.

Восьмое — следить. Раз в месяц смотреть динамику в Вебмастере и статистику обхода.

Это не разовый проект, а постоянная работа: каталог живёт, товары добавляются и удаляются, и без присмотра проблема возвращается.

Частые ошибки

Закрыть от обхода слишком много. В попытке избавиться от мусора иногда закрывают полезные страницы фильтров, которые приводили обращения.

Открыть всё подряд. Обратная крайность: обход тонет в комбинациях и до товаров не доходит.

Считать, что дело только в карте сайта. Карта помогает найти страницы, но не заставляет их индексировать. Если страница пустая, медленная или дублирующая — карта не спасёт.

Забыть про удалённые товары. Тысячи страниц, отдающих ошибку, тратят ресурс. Для снятых с продажи товаров лучше сохранять страницу с пометкой и предложением аналогов.

Не смотреть причины исключения. Вебмастер прямо пишет, почему страница не в поиске. Это самое полезное чтение при работе с каталогом.

Оценивать результат по числу страниц в поиске. Само по себе это ничего не значит. Смотреть надо, растёт ли число обращений из каталога.

Что считать результатом

Доля каталога в поиске. Отношение проиндексированных страниц к реальному числу товаров. Растёт — работа идёт.

Число обращений со страниц каталога. Заявки, звонки и заказы, начавшиеся с карточки товара или страницы раздела. Настраивается целями в Яндекс.Метрике.

Глубина входа. Какая доля посетителей приходит сразу на карточку товара, а не на главную. У здорового каталога она высокая.

Число разных страниц-входов. Если обращения приходят с сотен разных карточек, а не с десяти, — каталог работает как надо.

Скорость отдачи страниц каталога. Косвенный, но важный показатель.

Итог

Большой каталог — это не просто много страниц, это отдельная техническая задача. Пока ресурс обхода уходит на бесконечные комбинации фильтров, а товары лежат на седьмом уровне вложенности без единой ссылки, значительная часть ассортимента для поиска не существует — и обращений по ней не будет никогда.

Работа здесь понятная и последовательная: убрать мусор, починить карту сайта, сократить путь до товара, ускорить отдачу, наполнить карточки. И следить за динамикой, потому что каталог живой и проблема возвращается.

Специалисты компании «Сайты Профессионально» проведут разбор индексации вашего каталога: посмотрят статистику обхода, найдут, куда уходит ресурс, наведут порядок в фильтрах и карте сайта, устранят дубли и страницы-сироты и настроят учёт обращений со страниц каталога. Обращайтесь за бесплатной консультацией — покажем, какая доля вашего ассортимента сейчас не приносит обращений и почему.