Посмотреть сайт глазами поискового робота: что он не видит

Одна из самых обидных ситуаций в работе с сайтом: страница выглядит прекрасно, на ней есть всё нужное — тексты, цены, характеристики, отзывы, — а из поиска на неё никто не приходит. Разбираются с текстами, переписывают заголовки, проверяют настройки, а причина оказывается в том, что поисковый робот этого содержимого просто не видит. Для него страница пустая или почти пустая.

Разберём, чем взгляд робота отличается от взгляда человека, как посмотреть на свой сайт его глазами и что делать, если выяснилось, что половина сайта для поиска не существует.

Почему робот видит не то же, что вы

Когда вы открываете страницу в браузере, происходит довольно много всего. Браузер получает исходный документ, потом подгружает стили, изображения, скрипты, выполняет эти скрипты — и они могут дописать в страницу дополнительное содержимое, подгрузить данные с сервера, развернуть скрытые блоки. То, что вы видите на экране, — результат всей этой работы.

Робот поисковой системы получает тот же исходный документ, но дальше ведёт себя иначе. Он может выполнить скрипты, а может и не выполнить. Может выполнить не все. Может подождать пару секунд и не дождаться. Ресурсы поисковика ограничены, и на каждую страницу их выделяется немного.

Отсюда практическое правило, которое стоит запомнить: всё, что появляется на странице только после выполнения скриптов, для поиска ненадёжно. Оно может быть учтено, а может не быть.

Второй источник расхождения — то, что закрыто настройками. Есть указания, которые запрещают роботу заходить на страницу или учитывать её. Иногда они стоят там, где не нужно, — по ошибке или по наследству от разработки.

Третий — доступность. Страница может быть физически недостижима для робота: на неё нет ни одной ссылки, она не в карте сайта, она открывается только после действия пользователя.

Что чаще всего оказывается невидимым

Перечислим по частоте, с которой мы это встречаем.

Товары, подгружаемые при прокрутке. Каталог, где сначала показывается двадцать позиций, а остальные подгружаются, когда пользователь долистал вниз. Робот не листает — он видит двадцать позиций и уходит. Остальной каталог для поиска не существует.

Содержимое во вкладках и раскрывающихся блоках. Характеристики, описание, отзывы, доставка — разложены по вкладкам. Если содержимое вкладок подгружается при нажатии, а не лежит в документе сразу, робот увидит только первую вкладку.

Отзывы из внешнего сервиса. Виджет подгружает отзывы со стороннего сайта. Для человека они на странице, для поиска их нет вовсе.

Цены, подставляемые скриптом. Особенно если цена считается на лету или подтягивается из системы учёта. Страница без цены для поиска гораздо слабее.

Меню и навигация на скриптах. Если ссылки на разделы формируются скриптом, робот может не найти путь вглубь сайта. Целые разделы остаются необойдёнными.

Содержимое, спрятанное за действием. Текст, который разворачивается по нажатию «показать полностью». Часто такой текст присутствует в документе и учитывается, но иногда подгружается — и тогда пропадает.

Текст на изображениях. Классика: важная информация, преимущества, цены, условия нарисованы картинкой. Для поиска это пустое место.

Формы и калькуляторы вместо текста. Страница, состоящая из одного интерактивного элемента, для поиска почти пустая.

Страницы, доступные только через поиск по сайту. Если на страницу нет обычных ссылок, робот её не найдёт.

Разделы, закрытые от индексирования по ошибке. Обычно наследие тестового периода, когда сайт закрывали целиком, а потом открыли не полностью.

Как посмотреть на страницу глазами робота

Несколько способов, от самого доступного к более техническим.

Способ первый: инструмент проверки в Яндекс.Вебмастере. Самый прямой и точный. В Вебмастере есть раздел, где можно указать адрес страницы и посмотреть, что робот получает по этому адресу. Вы увидите исходный документ и извлечённый текст. Сравните с тем, что видите в браузере: если в извлечённом тексте нет описания товара, характеристик или цен — они для поиска не существуют.

Способ второй: посмотреть исходный код страницы. В браузере есть команда просмотра исходного кода — она показывает документ до выполнения скриптов, то есть примерно то, что получает робот на первом шаге. Не пугайтесь технического вида: вам нужно просто воспользоваться поиском по этому тексту и проверить, есть ли там ваши ключевые фразы, цены, названия товаров. Если текст, который вы видите на экране, в исходном коде отсутствует — он добавляется скриптами.

Важно не перепутать: инструмент «просмотреть код элемента» показывает уже готовую страницу после выполнения скриптов, а нужен именно «исходный код страницы».

Способ третий: отключить скрипты в браузере. В настройках браузера можно запретить выполнение скриптов для конкретного сайта и перезагрузить страницу. Вы увидите примерно то, что видит робот в худшем случае. Способ грубый, но очень наглядный: обычно после этого сразу становится понятно, что держится на скриптах.

Способ четвёртый: отчёт о страницах в поиске. В Яндекс.Вебмастере есть раздел, где перечислено, какие страницы участвуют в поиске, а какие исключены и по какой причине. Это позволяет обнаружить целые разделы, которые выпали.

Способ пятый: посмотреть логи сервера. Более технический вариант, но самый честный. В логах видно, на какие страницы заходили роботы, как часто и что получили в ответ. Если робот на раздел не заходил ни разу за месяц — это факт, а не предположение.

Способ шестой: проверить карту сайта. Откройте свою карту сайта и посмотрите, все ли важные разделы в ней есть. Часто обнаруживается, что половина каталога туда не попала.

Что делать с найденным

Разберём по типам проблем.

Содержимое подгружается скриптами. Правильное решение — сделать так, чтобы основное содержимое отдавалось сразу в исходном документе. В системах управления вроде ХостСМС это обычно вопрос настройки шаблона: текст, характеристики, цены формируются на стороне сервера и попадают в документ до отправки. Если сайт построен так, что всё рисуется скриптами, нужен разговор с разработчиком о том, чтобы хотя бы ключевое содержимое отдавалось сразу.

Подгрузка при прокрутке в каталоге. Обязательно должна быть обычная постраничная навигация со ссылками на страницы. Даже если для человека работает бесконечная прокрутка, ссылки на страницы должны существовать в документе, чтобы робот мог обойти весь каталог.

Вкладки и раскрывающиеся блоки. Содержимое должно быть в документе, а вкладки — просто прятать его визуально. Тогда и человеку удобно, и поиск всё видит.

Отзывы из внешнего виджета. Дублируйте важные отзывы текстом на странице. Виджет оставьте для удобства, но не полагайтесь на него.

Текст на картинках. Переносите в текст. Картинка может остаться для оформления, но информация должна быть словами.

Меню на скриптах. Ссылки на разделы должны быть обычными ссылками в документе.

Страницы без входящих ссылок. Добавьте их в меню, в разделы, в карту сайта, поставьте ссылки из статей.

Ошибочные запреты на индексирование. Проверьте настройки страниц и общий файл управления обходом. Здесь нужна аккуратность: снимать запреты надо осознанно, некоторые из них стоят правильно.

Отдельно про нейропоиск

К обычному поиску добавился ещё один читатель ваших страниц — системы, которые формируют генеративные ответы. Люди всё чаще задают вопрос целиком: «сколько стоит такая-то услуга», «какое оборудование выбрать для такой-то задачи», «кто занимается этим в нашем городе». Система собирает ответ из содержимого сайтов и упоминает конкретные компании.

Для этого содержимое тоже нужно прочитать. И здесь действует то же правило: то, что видно только после выполнения скриптов или спрятано в интерактивных элементах, скорее всего, не будет учтено.

Практический вывод: факты, которые вы хотите, чтобы о вас цитировали, — сроки, цены, опыт, условия, характеристики — должны лежать в тексте страницы обычными словами. Не в калькуляторе, не в виджете, не на картинке. Это одно из самых недооценённых требований к сайту сегодня.

Продвижение 3 в 1: проверять надо не только сайт

Наш подход строится на трёх точках, из которых приходят обращения, и проверять на «видимость» стоит все три.

Поиск, обычный и нейропоисковый. Всё, о чём мы говорили выше: содержимое должно быть доступно роботу в тексте страницы.

Яндекс.Справочник. Здесь аналог «взгляда робота» — это то, как выглядит ваша карточка в Яндекс Бизнесе для человека, который видит её впервые. Откройте её со стороннего устройства, не заходя в свой кабинет. Часто выясняется, что услуги не заполнены, фотографий три штуки пятилетней давности, а часть информации, которую вы вносили, не прошла проверку и не отобразилась.

2ГИС. То же самое: посмотрите свою карточку в приложении глазами постороннего человека. Проверьте категории, описание, телефон, фотографии.

Общий принцип один: регулярно смотреть на свои точки контакта не изнутри, а снаружи. Изнутри всё всегда выглядит лучше, чем есть.

Как оценивать результат исправлений

По обращениям, а не по позициям. Место сайта в выдаче персонализировано — у разных людей, устройств и районов оно разное, поэтому как ориентир не годится.

Что смотреть после того, как вы открыли для поиска ранее невидимое содержимое:

Число страниц в поиске в Яндекс.Вебмастере — оно должно вырасти, если раньше выпадали разделы. Это вспомогательный, но наглядный показатель.

Переходы из поиска на конкретные страницы в Яндекс.Метрике — по тем страницам, которые исправляли.

Количество обращений — главный показатель. Формы, звонки, сообщения, обращения с карт.

Доля целевых обращений — открытие каталога для поиска обычно приводит более подготовленных людей, потому что они находят конкретную позицию, а не общую страницу.

Сроки: изменения такого рода дают эффект не сразу. Роботу нужно заново обойти сайт, обработать новое содержимое и учесть его. От двух-трёх недель до пары месяцев в зависимости от размера сайта.

Что робот видит помимо текста

Кроме собственно содержимого, робот считывает со страницы ещё несколько вещей, и их тоже полезно проверить.

Заголовок документа и описание. Это то, что показывается в результатах поиска. Убедитесь, что они заполнены и различаются на разных страницах.

Заголовки внутри текста. Структура страницы — главный заголовок и подзаголовки разделов — помогает и человеку, и поиску понять, о чём страница. Частая ошибка: подзаголовки оформлены просто жирным текстом, и структуры для поиска нет.

Подписи к изображениям. Альтернативный текст у картинок. Для робота изображение — это только его подпись. Пустые подписи означают, что и фотографии объектов, и схемы для поиска не существуют.

Ссылки и их текст. Текст ссылки говорит поиску, о чём страница, на которую она ведёт. Ссылки вида «подробнее» и «читать далее» не говорят ни о чём. «Посмотреть цены на монтаж вентиляции» — говорят.

Разметка данных. Специальные пометки, которые сообщают поиску, что вот это цена, вот это отзыв, вот это адрес и часы работы. Правильная разметка делает вашу ссылку в выдаче заметнее и помогает генеративным ответам корректно вас цитировать.

Скорость ответа сервера. Робот не будет ждать долго. Медленные страницы обходятся реже.

Адрес страницы. Понятный человекочитаемый адрес лучше набора цифр и параметров.

Проверить всё это можно тем же инструментом в Яндекс.Вебмастере плюс просмотром исходного кода страницы. Час работы обычно выявляет несколько десятков картинок без подписей и пару разделов без заголовка документа.

Короткий порядок проверки

Отведите на это час. Откройте инструмент проверки страницы в Яндекс.Вебмастере и проверьте пять типов страниц: главную, страницу услуги, карточку товара, страницу категории каталога, статью блога. По каждой посмотрите, весь ли текст, который вы видите на экране, присутствует в том, что получил робот.

Дальше откройте отчёт о страницах в поиске и посмотрите, сколько страниц исключено и по каким причинам. Проверьте, есть ли в карте сайта все важные разделы. Пролистайте каталог до конца и убедитесь, что есть обычная постраничная навигация. Отключите скрипты и посмотрите на пару страниц.

Если нашли, что значительная часть содержимого невидима, — это, скорее всего, и есть причина, по которой сайт не приводит обращений из поиска, сколько бы вы ни переписывали тексты.

Если вы подозреваете, что часть вашего сайта поиск просто не видит, но самостоятельно разобраться сложно, специалисты компании «Сайты Профессионально» проведут бесплатную техническую диагностику: проверят, что получает поисковый робот на ваших страницах, найдут разделы, выпавшие из поиска, и подскажут, что нужно поправить, чтобы содержимое сайта начало работать на привлечение обращений.