Канонические адреса страниц и дубли на сайте

Одна и та же страница вашего сайта может открываться по десятку разных адресов. С косой чертой в конце и без неё. С параметрами сортировки и без. С меткой рекламной кампании. Через раздел каталога и напрямую. Для человека это одна и та же страница. Для поисковой системы — десять разных документов с одинаковым содержимым, и она должна решить, какой из них показывать. Инструмент, который позволяет решить это за неё, называется указанием канонического адреса. Разберём, как он работает, когда нужен, когда вреден и чем отличается от переадресации.

Откуда берутся дубли

Прежде чем говорить о решении, нужно понять масштаб проблемы. Дубли возникают сами, без вашего участия, и вот основные источники.

Косая черта в конце адреса. Адрес с ней и без неё технически разные. Если сервер отдаёт содержимое по обоим — это дубль.

Разные варианты домена. С приставкой из трёх букв в начале и без неё. По защищённому протоколу и по обычному. Четыре комбинации — четыре версии сайта.

Главная страница. Она обычно доступна и по корневому адресу, и по адресу с именем индексного файла.

Параметры сортировки и отображения. Каталог, отсортированный по цене, по названию, по новизне — разные адреса, одинаковое содержимое.

Постраничная навигация. Первая страница списка часто доступна и как просто раздел, и как раздел с номером страницы.

Метки рекламных кампаний. Каждая метка создаёт новый адрес. Одна рекламная кампания с десятью объявлениями может породить десять копий посадочной страницы.

Товар или услуга в нескольких разделах. Один и тот же элемент доступен по разным путям, если он относится к двум категориям.

Фильтры каталога. Комбинации характеристик порождают адреса, за которыми часто стоит один и тот же набор элементов.

Версии для печати.

Адреса с разным регистром букв.

Сложите всё вместе — и на среднем каталожном сайте получаются тысячи адресов, за которыми стоят сотни реальных страниц.

Чем плохи дубли

Проблема не в том, что поисковик вас накажет. Проблема в размывании.

Внимание робота тратится впустую. У сайта есть ограниченный ресурс обхода. Если робот ходит по тысячам одинаковых адресов, до новых страниц он добирается медленно, и они долго не начинают приносить обращения.

Поисковик сам выбирает, какой адрес показывать. И выбирает не всегда тот, который вы бы хотели. Может показаться версия с меткой рекламной кампании, страница фильтра вместо нормальной категории, вариант со странным набором параметров.

Показатели страницы размазываются. Ссылки, поведенческие сигналы, накопленное доверие распределяются между копиями вместо того, чтобы работать на одну.

Отчёты становятся нечитаемыми. В Яндекс.Метрике одна страница выглядит как десять разных, и понять, какая из них приводит обращения, невозможно.

В выдаче появляется не та страница. Человек ищет услугу и попадает на страницу отфильтрованного списка вместо нормальной страницы с описанием и ценами — и уходит, не оставив обращения.

Последний пункт — самый практический. Дубли редко ломают всё сразу, но они постоянно немного снижают отдачу от сайта.

Что делает указание канонического адреса

В коде страницы можно поставить специальную строку, которая сообщает: у этого содержимого есть основной адрес, и вот он. Поисковая система понимает это как указание объединить все варианты в один и показывать именно основной.

Ключевое свойство: это рекомендация, а не приказ. Поисковик учитывает её, но может и не последовать, если посчитает, что страницы на самом деле разные. Поэтому важно, чтобы указание было логичным и последовательным.

Важное отличие от переадресации. Переадресация физически перебрасывает человека с одного адреса на другой — он видит уже другой адрес в строке браузера. Каноническое указание ничего не перебрасывает: человек остаётся на той странице, куда пришёл, и всё работает как обычно. Меняется только то, какой адрес учитывают поисковые системы.

Из этого следует правило выбора между ними. Если старый адрес больше не нужен и человеку там делать нечего — переадресация. Если адрес нужен и должен работать, но в поиске должен быть другой — каноническое указание.

Пример первого случая: сменили структуру адресов, старые больше не используются. Переадресация.

Пример второго: страница каталога с сортировкой по цене. Человеку эта сортировка нужна, адрес должен работать, но в поиске должна быть базовая страница раздела. Каноническое указание.

Где ставить и как

Несколько правил, нарушение которых обнуляет весь смысл.

Адрес указывается полностью. С протоколом и доменом, а не сокращённо.

Указание должно быть одно на страницу. Два разных указания — и поисковик игнорирует оба.

Адрес должен быть рабочим. Он должен открываться и отдавать нормальный ответ, а не ошибку и не переадресацию на что-то ещё.

Указанный адрес не должен быть закрыт от обхода. Иначе получается противоречие: вы говорите, что основной вот этот, а робот не может его прочитать.

Каждая страница указывает сама на себя, если она основная. Это нормальная практика: она защищает от случайных дублей с метками и параметрами.

Не ставьте на всех страницах указание на главную. Очень распространённая и очень вредная ошибка: поисковик понимает это как «все эти страницы на самом деле одна главная» и убирает их из поиска. Обращения после такого пропадают почти полностью.

Цепочки не работают. Если страница А указывает на Б, а Б указывает на В, результат непредсказуем. Указывайте сразу на конечный адрес.

Типовые случаи и правильные решения

Разберём конкретные ситуации.

Косая черта в конце. Выберите один вариант и придерживайтесь его везде. Второй вариант переадресуйте на первый. Каноническое указание тут тоже поможет, но переадресация надёжнее.

Варианты домена. Определите основной вариант и настройте переадресацию остальных на него. Плюс укажите основное зеркало в Яндекс.Вебмастере.

Метки рекламных кампаний. Классический случай для канонического указания: страница с меткой указывает на себя же без метки. Тогда реклама работает, статистика собирается, а в поиске участвует чистый адрес.

Сортировка в каталоге. Все варианты сортировки указывают на базовую страницу раздела.

Постраничная навигация. Тут сложнее. Ставить на всех страницах списка указание на первую — распространённое решение, но оно приводит к тому, что элементы со второй и последующих страниц могут выпасть из обхода. Безопаснее, чтобы каждая страница списка указывала сама на себя, а от дублирования первой страницы избавляться переадресацией.

Товар в нескольких разделах. Выберите основной путь и укажите его как канонический для всех остальных вариантов.

Фильтры каталога. Комбинации, за которыми нет отдельного спроса, указывают на базовую страницу раздела. А вот ценные комбинации, которые люди действительно ищут, нужно наоборот оформить как самостоятельные страницы с собственным заголовком, текстом и указанием на самих себя. Это важный момент: слепое схлопывание всех фильтров в раздел лишает вас страниц под конкретный спрос.

Версия для печати. Указывает на обычную версию.

Страницы с почти одинаковым содержимым. Например, услуга в двух соседних районах, где текст отличается двумя словами. Здесь каноническое указание — не лучшее решение. Правильнее либо сделать страницы действительно разными по содержанию, либо оставить одну.

Как это устроено в системах управления

Хорошая новость в том, что вручную расставлять такие указания на сотнях страниц не нужно — это задача системы.

В ХостСМС канонический адрес формируется системой автоматически на основе структуры разделов и элементов: у каждого элемента есть свой основной путь, и система его знает. Параметры сортировки, метки и служебные добавки при этом не создают новых основных адресов. При необходимости адрес можно задать вручную для конкретного элемента — например, когда товар относится к нескольким разделам и нужно выбрать главный. Отдельно настраивается поведение фильтров: ценные комбинации выносятся в самостоятельные страницы, остальные схлопываются. Это штатная логика, не требующая самописных решений.

На 1С-Битрикс и ВордПресс задача решается похожим образом — встроенными средствами или модулями. Принцип везде один: указание должно формироваться автоматически по понятному правилу, а не проставляться руками, иначе оно рассыплется на первом же изменении структуры.

Что стоит проверить в любой системе. Формируется ли указание вообще. Указывает ли обычная страница сама на себя. Что происходит с метками и параметрами. Что происходит на страницах списков. Не указывают ли все страницы на главную.

Как проверить, что всё в порядке

Проверка простая и делается за полчаса.

Откройте несколько страниц и посмотрите исходный код. В нём должна быть строка с каноническим адресом. Проверьте главную, страницу услуги, карточку товара, раздел каталога.

Добавьте к адресу метку и откройте снова. Указание должно остаться прежним — без метки.

Проверьте страницу с сортировкой. Указание должно вести на базовую страницу раздела.

Посмотрите в Яндекс.Вебмастере раздел с исключёнными страницами. Там видно, какие страницы поисковик счёл дублями и какие адреса выбрал основными. Если выбраны не те — есть о чём поговорить.

Сверьте с картой сайта. В карте должны быть только основные адреса. Если в карте указан адрес, который сам указывает на другой как на основной, — это противоречие.

Сверьте с файлом инструкций для роботов. Основной адрес не должен быть закрыт от обхода.

Проверьте после каждого изменения структуры. Новый раздел, смена путей, переезд — всё это требует повторной проверки.

Подход «три в одном»: как это связано с обращениями

Каноническое указание — техническая деталь, но она стоит в основании одного из трёх каналов и влияет на два других косвенно.

Первый канал — поиск. Здесь связь прямая. Когда дубли схлопнуты правильно, в выдаче участвует та страница, которую вы для этого готовили: с нормальным заголовком, описанием, ценами и формой. Когда нет — человек может попасть на отфильтрованный список или страницу с меткой, где нет ни описания услуги, ни призыва к действию, и уйти без обращения. Отдельно про генеративные ответы нейропоиска: алгоритм цитирует конкретные страницы, и ему нужно понимать, какая из версий основная. Размытое между копиями содержимое цитируется хуже, чем одна чёткая страница с фактами.

Второй канал — Яндекс.Справочник и карточка в Яндекс Бизнесе. В карточке вы указываете ссылку на сайт, и указывать нужно именно основной адрес — без меток и параметров. Кажется мелочью, но встречается регулярно: в карточке стоит ссылка с рекламной меткой годичной давности, а человек по ней переходит и попадает на адрес, которого в нормальном виде не существует. Ссылки на конкретные услуги в карточке тоже должны вести на основные адреса.

Третий канал — 2ГИС. То же самое: проверьте, какая ссылка указана в карточке, и приведите её к основному виду.

Общий вывод: аккуратность с адресами — это не только про поиск. Одинаковые правильные адреса везде дают согласованную картину, а рассогласование работает против вас во всех трёх точках. И, как обычно, карточки на картах при этом остаются самостоятельным источником обращений, который не зависит от технических тонкостей сайта, — ещё один аргумент за то, чтобы вести все три канала, а не полагаться на один.

Частые ошибки

Все страницы указывают на главную. Самая разрушительная ошибка: сайт фактически исчезает из поиска.

Указание ведёт на несуществующий адрес или на адрес с переадресацией.

Два разных указания на одной странице. Обычно из-за того, что одно ставит система, а второе добавили вручную или сторонним модулем.

Указание на закрытый от обхода адрес.

Относительный адрес вместо полного.

Цепочки указаний.

Все фильтры схлопнуты в раздел, и потеряны страницы под конкретный спрос.

На страницах списков указание на первую страницу, из-за чего элементы с дальних страниц выпадают.

Указание есть, а переадресация вариантов домена не настроена — и сайт всё равно доступен в четырёх версиях.

Никто ни разу не проверял, что именно генерирует система.

Коротко

Одна страница может открываться по множеству адресов — из-за косой черты, параметров, меток, фильтров и путей через разные разделы. Указание канонического адреса сообщает поисковым системам, какой из вариантов основной, и объединяет их. От переадресации оно отличается тем, что ничего не перебрасывает: все адреса продолжают работать для людей, меняется только то, что учитывает поиск. Правило выбора простое: адрес больше не нужен — переадресация, адрес нужен, но в поиске должен быть другой — каноническое указание. Указание должно быть одно, полное, вести на рабочий и открытый для обхода адрес, и обычная страница должна указывать сама на себя. Формировать его должна система автоматически, а не человек руками. Самая опасная ошибка — указание на главную со всех страниц. Проверять всё это нужно после каждого изменения структуры сайта.

Если вы подозреваете, что в поиске показывается не та страница, которую вы готовили, или просто хотите убедиться, что с адресами на сайте порядок, — специалисты компании «Сайты Профессионально» бесплатно проверят каноничность адресов, переадресации, карту сайта и настройки обхода в комплексе. Девятнадцать лет работы с сайтами дают нам понимание того, как эти вещи связаны между собой и где обычно кроется причина. Обращайтесь за бесплатной диагностикой — она ни к чему не обязывает.