robots.txt, sitemap.xml и Яндекс.Вебмастер: техническая база индексации
Прежде чем сайт начнёт приводить клиентов из поиска, поисковая система должна его найти, обойти, понять и добавить в свою базу. Этот этап называется индексацией, и он полностью технический. Никакие тексты, дизайн и реклама не помогут, если робот не может нормально прочитать сайт или считает половину страниц мусором. Разберём три инструмента, которые управляют этим процессом: файл robots.txt, карту сайта sitemap.xml и панель Яндекс.Вебмастер.
Как поисковая система видит ваш сайт
Начнём с механики, потому что без неё дальнейшее выглядит набором ритуалов.
Поисковый робот — программа, которая ходит по ссылкам и скачивает страницы. Он приходит на сайт, читает содержимое, находит ссылки, идёт по ним дальше. Собранные страницы отправляются на обработку, где решается, стоит ли добавлять их в поисковую базу.
У робота есть ограничение по объёму работы для каждого сайта: он не будет обходить страницы бесконечно. Если сайт отдаёт тысячи бессмысленных адресов — служебные страницы, дубли, результаты сортировок и фильтров, — робот потратит выделенный ресурс на них и не доберётся до важного. Это одна из главных причин, по которой нужные страницы неделями не появляются в поиске.
Дальше происходит отбор. Не всё, что обошёл робот, попадает в базу. Страницы-дубли, пустые страницы, технические разделы отсеиваются. И вот здесь начинаются проблемы, которые видит владелец сайта: страница есть, а в поиске её нет.
Задача владельца — помочь роботу: показать, что обходить не нужно, дать список важных адресов и следить за отчётами о том, что происходит.
Файл robots.txt: что не нужно обходить
Это обычный текстовый файл в корне сайта, доступный по адресу вашсайт.ру/robots.txt. Он содержит указания роботам о том, какие разделы обходить не следует.
Важно понимать ограничение: robots.txt — это рекомендация, а не запрет доступа. Он говорит «сюда ходить не надо», и добросовестные роботы поисковых систем это соблюдают. Скрыть страницу от людей с его помощью нельзя — файл открыт всем, и указанные в нём адреса, наоборот, легко посмотреть.
Что обычно закрывают:
Административную часть сайта. Роботу там нечего делать.
Служебные каталоги системы управления, скрипты, временные файлы.
Страницы результатов поиска по сайту. Их может быть бесконечно много, и все они пустые с точки зрения содержания.
Страницы корзины, оформления заказа, личного кабинета.
Технические параметры в адресах: метки сортировки, отслеживания рекламных источников, идентификаторы сессий. Иначе одна и та же страница попадает в базу в десятке вариантов и они конкурируют друг с другом.
Страницы печатных версий, если они дублируют основные.
Чего закрывать не нужно:
Файлы оформления и скриптов. Робот отрисовывает страницу примерно как браузер, и если он не может загрузить стили, страница выглядит для него сломанной. Это распространённая старая ошибка, которую до сих пор встречаем на сайтах.
Изображения, если вы хотите, чтобы они попадали в поиск по картинкам.
Разделы, которые вы на самом деле продвигаете. Звучит смешно, но случается: закрыли каталог одной строкой и месяцами не понимали, почему товары не в поиске.
Обязательные элементы файла:
Указание, к каким роботам относятся правила. Обычно задаются общие правила для всех.
Ссылка на карту сайта. Отдельной строкой в конце.
Указание основного зеркала, если сайт доступен по нескольким адресам.
Правильный robots.txt для типового корпоративного сайта занимает пятнадцать-двадцать строк. Если у вас там сотня правил — скорее всего, часть из них устарела или противоречит друг другу.
Как проверить. В Яндекс.Вебмастере есть инструмент анализа robots.txt: он показывает, как робот интерпретирует ваши правила, и позволяет проверить любой адрес — разрешён он к обходу или нет. Обязательно прогоните через него главные страницы сайта после любых правок файла. Ошибка в одной строке способна закрыть от индексации весь сайт, и такие случаи, к сожалению, не редкость.
Отдельно проверьте, что после разработки с сайта снят полный запрет индексации. Во время создания сайт обычно закрывают целиком, чтобы недоделанная версия не попала в поиск, а после запуска забывают открыть. Сайт работает месяцами, а в поиске его нет вообще.
Карта сайта sitemap.xml: список того, что важно
Карта сайта — файл со списком адресов, которые вы хотите видеть в поиске. Для каждого адреса можно указать дату последнего изменения.
Она не гарантирует индексацию, но заметно помогает: робот получает готовый перечень вместо того, чтобы искать страницы по ссылкам, и быстрее замечает обновления. Для больших сайтов и для сайтов со сложной навигацией эффект особенно заметен.
Что должно быть в карте:
Только страницы, которые вы хотите видеть в поиске.
Только адреса, отдающие корректный ответ. Ссылки на удалённые страницы в карте — это сигнал о небрежности.
Только основные версии адресов. Если у страницы есть несколько вариантов, в карту попадает канонический.
Актуальные даты изменений. Проставленная всем страницам сегодняшняя дата обесценивает этот параметр: робот перестаёт ему доверять.
Чего в карте быть не должно: страниц, закрытых в robots.txt (это прямое противоречие, и оно фиксируется как ошибка), страниц с перенаправлениями, дублей, служебных разделов.
Как создать. В большинстве систем управления, включая HostCMS, карта формируется автоматически и обновляется при изменении содержимого. Это правильный путь: карта, собранная вручную один раз, устареет через месяц. Если автоматической генерации нет, её настраивают модулем или заданием на сервере.
При большом количестве страниц карту разбивают на несколько файлов и делают общий индексный файл со ссылками на них.
Как сообщить о карте. Двумя способами сразу: строкой в robots.txt и добавлением в Яндекс.Вебмастере в разделе файлов сайта.
Яндекс.Вебмастер: панель, без которой работать вслепую
Если robots.txt и карта сайта — это то, что вы говорите поисковой системе, то Вебмастер — то, что она говорит вам. Бесплатный сервис, подключение занимает десять минут, а пользы даёт больше, чем большинство платных инструментов.
Подключение: добавляете сайт, подтверждаете права одним из способов — файлом на сервере, записью в настройках домена или тегом в коде страницы. После этого начинают накапливаться данные.
Разберём разделы, в которые стоит заглядывать регулярно.
Диагностика сайта. Первое, что нужно смотреть. Здесь перечислены найденные проблемы с разделением на критичные, возможные и рекомендации. Критичные ошибки — недоступность сайта, ошибки в robots.txt, проблемы с ответом сервера — требуют немедленной реакции. Проверяйте этот раздел хотя бы раз в неделю: он часто сообщает о поломках раньше, чем их замечают люди.
Страницы в поиске. Показывает, сколько страниц включено в базу, и главное — какие исключены и почему. Именно здесь находится ответ на вопрос «почему моих страниц нет в поиске». Основные причины исключения:
Недостаточно качественная страница — содержания мало или оно не отвечает на запросы. Решение — переработать или убрать.
Дубль — существует другая страница с таким же содержанием. Решение — настроить указание канонического адреса или убрать дубль.
Запрет в robots.txt — вы сами закрыли её, возможно, случайно.
Ошибка при обращении — страница не открылась в момент прихода робота.
Перенаправление — адрес ведёт на другой.
Регулярный просмотр этого раздела часто вскрывает системные проблемы: например, что каталог генерирует по три копии каждого товара из-за параметров в адресах.
Поисковые запросы. Показывает, по каким формулировкам сайт показывается в выдаче, сколько раз показался, сколько было переходов и на какой позиции. Это ценнейшая информация. Здесь видно:
По каким запросам вы уже почти в топе и где небольшая доработка страницы даст заметный прирост.
Запросы, по которым много показов и мало переходов — обычно проблема в заголовке и описании страницы, которые видит человек в выдаче.
Запросы, о которых вы не думали, — прямые подсказки для новых страниц и статей.
Индексирование и обход. Здесь видно, сколько страниц робот обошёл, какие ответы получил, сколько нашёл ошибок. Всплеск страниц с ошибками — повод разобраться. Здесь же находится инструмент переобхода: если вы обновили важную страницу и хотите, чтобы изменения попали в поиск быстрее, можно отправить её на приоритетный обход. Количество таких заявок в сутки ограничено, поэтому используйте их для действительно важных страниц.
Внутренние ссылки и битые ссылки. Показывает страницы, ссылающиеся в никуда. Их нужно чинить: они портят впечатление у людей и расходуют ресурс робота.
Товары и цены, турбо-страницы, региональность. Отдельные разделы, полезные интернет-магазинам и локальному бизнесу. В настройках региональности указывается город, к которому относится сайт, — для локальных компаний это влияет на показы в своём регионе.
Мониторинг важных страниц. Позволяет отметить ключевые страницы и получать уведомления, если с ними что-то произойдёт. Полезно для главной и основных страниц услуг.
Дубли: главная техническая проблема большинства сайтов
Отдельно стоит остановиться на дублях, потому что это самая массовая причина плохой индексации.
Дубль — это когда одно и то же содержимое доступно по нескольким адресам. Поисковая система вынуждена выбирать, какой из них показывать, и часто выбирает не тот, вес страницы размывается, позиции падают.
Откуда берутся дубли:
Адрес со слешем на конце и без него. Технически это два разных адреса.
Сайт доступен с приставкой и без неё, а также по защищённому и незащищённому протоколу. Получается до четырёх вариантов одной страницы.
Параметры сортировки и фильтров в каталоге. Один раздел превращается в десятки адресов.
Метки отслеживания рекламы. Каждый переход с рекламы создаёт новый адрес.
Страницы разбивки на части. Вторая, третья страница списка с тем же заголовком и описанием.
Товар доступен из нескольких категорий и имеет разные адреса в каждой.
Решается это тремя способами, которые применяются вместе: настройка перенаправления на основную версию адреса, указание канонического адреса в коде страницы и закрытие технических параметров в robots.txt. Настраивается один раз при технической подготовке сайта, а результат виден в разделе исключённых страниц Вебмастера — количество дублей начинает падать.
Практическая последовательность действий
Если вы хотите привести техническую часть в порядок, разумный порядок такой.
Первое. Откройте вашсайт.ру/robots.txt и посмотрите, что там. Если файла нет или в нём стоит полный запрет — это первоочередная задача.
Второе. Проверьте наличие карты сайта и убедитесь, что она обновляется автоматически и содержит актуальные адреса.
Третье. Подключите Яндекс.Вебмастер, если он не подключён, и дайте ему неделю на сбор данных.
Четвёртое. Изучите раздел диагностики и устраните критичные ошибки.
Пятое. Посмотрите исключённые страницы и разберитесь с причинами. Обычно там обнаруживается системная проблема, которая чинится одной настройкой.
Шестое. Проверьте, что сайт доступен только по одному основному адресу, а остальные варианты перенаправляют на него.
Седьмое. Изучите отчёт по поисковым запросам и составьте список страниц, которые стоит доработать в первую очередь.
Дальше переходите в режим наблюдения: раз в неделю — диагностика, раз в месяц — исключённые страницы и запросы.
Частые ошибки
Сайт закрыт от индексации после разработки. Самая дорогая и самая обидная ошибка. Проверяется за минуту.
В robots.txt закрыты файлы оформления. Робот видит сломанную страницу.
Карта сайта не обновлялась два года. Половина адресов не существует, новые страницы отсутствуют.
Вебмастер не подключён. Владелец сайта не знает ни об ошибках, ни о том, по каким запросам его находят.
Дубли не устранены. Сайт конкурирует сам с собой.
Одинаковые заголовки и описания на всех страницах. Поисковая система считает их малополезными и исключает.
Страницы с ошибками не отслеживаются. Раздел удалили, ссылки на него остались, робот регулярно натыкается на пустоту.
После переезда на новый сайт не настроены перенаправления со старых адресов. Накопленные позиции теряются полностью, трафик падает в разы, и восстанавливается это месяцами.
Что делать после того, как техническая часть настроена
Правильная индексация — не цель, а условие. Она не поднимает сайт в выдаче сама по себе, она лишь убирает препятствия. Когда робот беспрепятственно обходит сайт, видит актуальную карту, не путается в дублях и получает корректные ответы сервера, дальше начинает работать содержимое: тексты, структура, скорость, поведение посетителей.
Поэтому логичная последовательность работы над сайтом такова: сначала техническая база, потом содержание и структура, потом наращивание известности. Пытаться продвигать сайт, который наполовину закрыт от индексации и генерирует дубли, — значит платить за работу, которая упирается в потолок.
Итог
robots.txt, sitemap.xml и Яндекс.Вебмастер — три простых инструмента, которые определяют, увидит ли поисковая система ваш сайт таким, каким вы его задумали. Настраиваются они один раз и стоят ноль рублей, но ошибка в одной строке способна убрать сайт из поиска целиком, а невнимание к отчётам Вебмастера оставляет владельца в неведении относительно того, что происходит с его проектом.
Минимальная программа: проверить robots.txt, наладить автоматическую карту сайта, подключить Вебмастер, устранить критичные ошибки диагностики и разобраться с дублями. Дальше — регулярно смотреть отчёты и реагировать.
Если после чтения вы обнаружили, что не знаете, есть ли на вашем сайте карта, а Вебмастер никто не подключал, — это нормально, так у большинства. Обратитесь к специалистам компании «Сайты Профессионально»: мы проведём техническую проверку сайта, найдём ошибки индексации и дубли, настроим файлы и панель Вебмастера и покажем, по каким запросам вас уже находят и что можно улучшить в первую очередь. Проверка и разбор результатов — бесплатно, свяжитесь с нами любым удобным способом.
