Два года платили за SEO, а сайт был закрыт от индексации

Эта история из тех, что рассказывают на конференциях как анекдот, — пока она не случается с тобой. Компания два года платила за поисковое продвижение, получала ежемесячные отчёты, обсуждала стратегию, утверждала тексты. И всё это время её сайт был технически запрещён к индексации. Ни одна страница не могла попасть в поиск в принципе. Расскажем, как это выяснилось, почему никто не замечал так долго и что делать, чтобы не оказаться на месте этих людей.

Как всё начиналось

К нам обратился владелец компании, торгующей промышленным оборудованием. Формулировка была расплывчатой: «Кажется, нас обманывают, но доказать не могу».

Ситуация выглядела так. Два года назад сделали новый сайт — заказывали у одной студии. Сразу после запуска заключили договор на продвижение с другим подрядчиком, небольшим агентством. Платили ежемесячно вполне ощутимую сумму. Получали отчёты: страницы оптимизированы, тексты написаны, ссылки размещены, работы выполнены.

Заявок с сайта не было. Совсем. Все клиенты приходили по рекомендациям, с выставок и по старым связям. На вопросы о результате подрядчик отвечал, что ниша конкурентная, что поисковое продвижение — процесс долгий, что нужно ещё немного подождать и не дёргать сайт. Владелец в этом не разбирался, отчёты выглядели убедительно, поэтому ждал.

Через два года терпение кончилось.

Первая проверка заняла три минуты

Проверка сайта в такой ситуации начинается не с анализа текстов и не с изучения ссылок. Начинается она с одного простого вопроса: а сайт вообще есть в поиске?

Проверяется это элементарно — специальным запросом, который показывает, сколько страниц сайта известно поисковой системе. Ответ был: ноль. Ни одной страницы.

Дальше открылся служебный файл роботс.тхт, который лежит в корне любого сайта и сообщает поисковым роботам, что можно обходить, а что нельзя. В нём была одна короткая запись, запрещающая обход всего сайта целиком, для всех роботов без исключения.

Такая запись — совершенно нормальная и правильная вещь на этапе разработки. Пока сайт не готов, его прячут от поисковых систем, чтобы недоделанные страницы не попали в выдачу. Проблема в том, что после запуска эту запись нужно убрать. Здесь её не убрали. Она пролежала два года.

Для полноты картины проверили ещё несколько вещей. Сайт не был подтверждён в Яндекс.Вебмастере — то есть подрядчик ни разу не заходил в основной инструмент, который показывает состояние индексации. Карта сайта отсутствовала. Счётчик Яндекс.Метрики стоял, но целей в нём не было настроено ни одной — то есть даже если бы заявки приходили, никто бы их не считал.

Почему этого не заметили

Самый частый вопрос при пересказе этой истории: как можно два года не замечать?

Со стороны владельца всё объяснимо. Он не проверял позиции сам — для этого нужно понимать, что и как смотреть. Он не заходил в Вебмастер — не знал о его существовании. Своё название компании в поиске он, конечно, набирал, и сайт находился — потому что по точному названию поисковик показывает организацию из справочника с ссылкой на сайт, и человеку кажется, что всё в порядке. Заявок нет — но ему объясняли, что это нормально для конкурентной ниши на раннем этапе.

Со стороны подрядчика возможны два объяснения. Первое: работы действительно велись формально — писались тексты, правились заголовки, — но никто ни разу не проверил базовые технические условия. Такое бывает чаще, чем хотелось бы: исполнитель работает по типовому списку задач, не глядя на результат. Второе: работы не велись вовсе, а отчёты составлялись из шаблонов. Отличить одно от другого по документам было невозможно, потому что в отчётах не было ни одной цифры, которую можно проверить со стороны.

И здесь мы подходим к главному, что делает эту историю поучительной: беда была не в файле роботс.тхт. Беда была в том, что за два года никто ни разу не посмотрел на результат.

Отчёты, которые ничего не значат

Отдельного разбора заслуживают документы, которые получал заказчик.

В них перечислялись выполненные работы: «оптимизированы мета-теги на десяти страницах», «написано три текста», «проведена работа по наращиванию ссылочной массы», «проанализированы конкуренты». Всё это — описание процесса, а не результата.

Чего в отчётах не было ни разу за двадцать четыре месяца: количества страниц в индексе, количества показов сайта в поиске, количества переходов из поиска, позиций по конкретным запросам, количества обращений с сайта.

Именно эти пять показателей и составляют суть. Все они доступны бесплатно в Яндекс.Вебмастере и Яндекс.Метрике. Любой из них немедленно вскрыл бы проблему: ноль страниц в индексе, ноль показов, ноль переходов.

Отчёт, в котором есть только список действий, не позволяет отличить работающего подрядчика от неработающего. Это его главный дефект — и, к сожалению, во многих случаях именно поэтому такой формат и выбирается.

Чем закончилось

Техническая часть решилась быстро. Убрали запрет в служебном файле — работа на две минуты. Подключили сайт к Яндекс.Вебмастеру, сформировали и загрузили карту сайта, отправили основные страницы на переобход. Настроили цели в Метрике, чтобы наконец начать считать заявки.

Дальше пошло само собой, но не мгновенно. Первые страницы появились в индексе в течение недели. Основная часть сайта проиндексировалась примерно за месяц. Первые переходы из поиска — по низкочастотным запросам, где конкуренция минимальна — появились через две-три недели. Заметный трафик начал набираться к третьему месяцу.

Параллельно пришлось разбираться с содержимым. Тексты, написанные за два года, оказались слабыми: общие фразы, никакой конкретики, нет цен, нет описания процесса работы, нет примеров. Их переписывали заново — это заняло больше времени, чем вся техническая часть.

Через полгода сайт вышел на нормальный поток заявок. Через год стал основным каналом привлечения клиентов.

Вернуть два года, разумеется, не удалось. И дело даже не в деньгах, потраченных на продвижение, — гораздо дороже стоила упущенная выручка и то, что за это время конкуренты успели занять позиции, которые теперь приходится отвоёвывать.

Другие способы случайно закрыть сайт от поиска

Запрет в служебном файле — самый известный, но далеко не единственный вариант. Полезно знать и остальные, потому что механизм ошибки везде одинаковый: включили на время разработки и забыли выключить.

Специальный тег в коде страниц, запрещающий индексацию. Работает жёстче, чем запись в служебном файле: страница может обходиться роботом, но в выдачу не попадает. Ставится в шапке страницы и невидим для обычного посетителя.

Заголовок ответа сервера с тем же запретом. Ещё более коварный вариант, потому что его не видно ни в файле, ни в исходном коде страницы — только при просмотре технического ответа сервера.

Закрытие сайта паролем на уровне сервера. Типичная мера защиты тестовой версии. Если её оставить на боевом сайте, робот получает отказ в доступе и уходит.

Сайт открыт, но робот получает ошибку. Например, при определённых настройках защиты от нежелательного трафика робот блокируется вместе с ботами, и сайт для него выглядит недоступным.

Дубль сайта на тестовом адресе. Обратная ситуация: разработчики забыли закрыть тестовую копию, поисковик проиндексировал её, и теперь два одинаковых сайта конкурируют друг с другом.

Ошибки в карте сайта или её отсутствие — не блокирует индексацию, но сильно её замедляет, особенно на крупных сайтах.

Как проверить свой сайт за десять минут

Хорошая новость в том, что базовая проверка доступна любому владельцу и не требует специальных знаний.

Шаг первый. Наберите в поиске специальный запрос, показывающий страницы вашего сайта. Если результатов ноль или их подозрительно мало по сравнению с реальным количеством страниц — уже повод разбираться.

Шаг второй. Откройте адрес вашего сайта с добавлением названия служебного файла в конце. Посмотрите, нет ли там строки, запрещающей обход всего сайта. Если увидите запись, закрывающую всё для всех, — это оно.

Шаг третий. Зарегистрируйтесь в Яндекс.Вебмастере и подтвердите права на сайт. Это бесплатно и занимает несколько минут. Сервис сразу покажет: сколько страниц в индексе, есть ли критические ошибки, по каким запросам сайт показывается.

Шаг четвёртый. Проверьте Яндекс.Метрику: есть ли переходы из поисковых систем и настроены ли цели.

Шаг пятый. Попросите у подрядчика последний отчёт и посмотрите, есть ли в нём цифры показов, переходов и заявок. Если нет — попросите их добавить. Реакция на эту просьбу сама по себе очень информативна.

Пять цифр, которые должны быть в любом отчёте

Раз уж речь зашла об отчётности, стоит перечислить минимальный набор показателей. Все они берутся из бесплатных сервисов, все проверяемы заказчиком самостоятельно, и все показываются в динамике — за текущий месяц и за предыдущие, чтобы было видно направление движения.

Количество страниц в индексе. Сколько страниц сайта известно поисковой системе. Если цифра ноль или сильно меньше реального количества страниц — есть техническая проблема.

Количество показов в поиске. Сколько раз сайт был показан в результатах. Это самый ранний признак движения: показы растут раньше, чем переходы.

Количество переходов из поиска. Сколько человек реально пришло. Берётся и в Вебмастере, и в Метрике.

Позиции по согласованному списку запросов. Не по случайным фразам, которые выбрал подрядчик, а по заранее утверждённому списку, где есть коммерческие запросы вашей ниши.

Количество обращений с сайта. Заявки с форм, звонки, сообщения. Это единственная цифра, которая напрямую связана с деньгами, и именно её чаще всего не показывают.

Если эти пять показателей есть в отчёте каждый месяц, ситуация, описанная выше, физически невозможна: провал был бы виден в первый же отчётный период.

Какие выводы стоит сделать

Проверяйте результат, а не процесс. Список выполненных работ ничего не говорит о том, работает ли сайт. Смотрите на показы, переходы и заявки.

Заведите доступ к Вебмастеру и Метрике на свою почту. Не на почту подрядчика. Это ваши данные о вашем сайте, и владелец бизнеса должен иметь к ним доступ независимо от того, кто сейчас ведёт работы.

Требуйте понятных отчётов. Пять цифр в динамике за месяц — это минимум, который любой добросовестный подрядчик предоставит без вопросов.

Не принимайте объяснение «нужно ещё подождать» дольше нескольких месяцев. Поисковое продвижение действительно инерционно, но первые признаки движения — рост показов, появление страниц в индексе, первые переходы — видны уже через один-три месяца. Если их нет полгода, что-то не так.

Делайте техническую проверку при запуске сайта. Перевод сайта из разработки в боевой режим — это отдельная процедура, а не просто «выложили файлы». Снять запреты индексации, подключить аналитику, настроить цели, сформировать карту сайта, проверить формы. Час работы, который экономит годы.

Проверяйте базовые вещи при смене подрядчика. Новый исполнитель обязан начинать с технического аудита. Если он сразу берётся писать тексты, не посмотрев на состояние индексации, — плохой знак.

Что в итоге

Самое неприятное в этой истории — её обыденность. Ошибка была не сложной и не редкой: забытая строка в служебном файле, которая ставится на каждом сайте во время разработки. Её находят и исправляют за две минуты — если хоть кто-нибудь посмотрит.

Драма разворачивается не из-за технической сложности, а из-за того, что между заказчиком и результатом не было ни одной точки контроля. Заказчик не знал, что и как проверять. Подрядчик отчитывался о процессе. Результат не смотрел никто.

Защита от таких ситуаций простая и почти бесплатная: доступ к Вебмастеру и Метрике на свою почту, пять понятных цифр в ежемесячном отчёте и привычка раз в месяц тратить десять минут на то, чтобы в них заглянуть.

Если у вас есть подозрение, что с сайтом что-то не так — заявок нет, а объяснения звучат уклончиво, — специалисты компании «Сайты Профессионально» проведут бесплатную диагностику: проверим индексацию, технические запреты, состояние аналитики и честно скажем, в чём дело. Мы девятнадцать лет работаем с сайтами и не раз находили подобные вещи на проектах, которые годами вели другие подрядчики. Иногда лечение занимает две минуты — важно только вовремя посмотреть.