Роботы нейропоиска и файл роботс: как не закрыть сайт от генеративных ответов

Ещё несколько лет назад по сайту ходили в основном поисковые роботы, и всё регулирование сводилось к одному служебному файлу с правилами. Сегодня к ним добавились роботы нейросетей: они собирают материал, из которого потом складываются генеративные ответы — те самые, которые человек получает вместо списка ссылок.

И вот тут владельцы сайтов делятся на две группы. Одни ничего не знают об этих роботах и случайно закрываются от них — а вместе с этим теряют упоминания в ответах, которые всё чаще заменяют людям поиск. Другие боятся, что «нейросети украдут контент», и закрываются сознательно — с тем же результатом. Разберём, как всё устроено на самом деле и что стоит проверить на своём сайте.

Что за роботы и зачем они ходят

Робот — это программа, которая обходит сайты и скачивает страницы. Дальше содержимое используется по-разному, и именно назначение отличает один тип от другого.

Поисковые роботы. Ходят по сайтам, чтобы страницы попадали в поиск. Классический случай: робот Яндекса обходит ваш сайт, страницы появляются в выдаче, люди по ним переходят.

Роботы, собирающие материал для генеративных ответов. Обходят сайты, чтобы у нейросети было чем ответить на вопрос пользователя. Когда человек спрашивает «сколько стоит замена кровли в таком-то городе» и получает связный ответ со ссылками на источники, эти источники были собраны такими роботами.

Роботы, собирающие данные для обучения моделей. Отдельная категория: они не отвечают на вопросы прямо сейчас, а пополняют массив, на котором обучаются модели.

Служебные роботы. Проверяют доступность сайта, собирают превью ссылок для мессенджеров, следят за изменениями, проверяют работоспособность.

Парсеры и сборщики. Копируют цены и содержимое для конкурентов и агрегаторов. Это единственная категория, от которой действительно есть смысл защищаться.

Ключевой момент: вторая категория — это ваш канал обращений. Робот, который собирает материал для генеративного ответа, работает на вас так же, как поисковый: если ваш сайт попал в ответ и упомянут, человек может по нему перейти или запомнить название компании.

Как выглядит служебный файл с правилами

Файл лежит в корне сайта и содержит указания, каким роботам куда можно ходить. Правила простые: указывается имя робота, затем что ему запрещено, а что разрешено.

Проблема в том, что этот файл на большинстве сайтов писали один раз при запуске, а иногда просто скопировали у кого-то. И в скопированном варианте вполне могут оказаться строки, закрывающие сайт от всего, что не является Яндексом.

Второй источник проблем — рекомендации, которые ходили по интернету пару лет назад: «закройте сайт от роботов нейросетей, чтобы они не воровали ваши тексты». Многие послушались, вписали запрет и забыли. Сейчас это означает, что сайт систематически отсутствует там, где формируются ответы.

Стоит ли закрываться от роботов нейросетей

Разберём аргументы честно, потому что вопрос не однозначный.

Аргумент за закрытие: «наш контент используют, а мы ничего не получаем». Отчасти справедливо: человек может получить ответ и не перейти на сайт. Но эта логика полностью применима и к обычному поиску, где ответ часто виден прямо в выдаче, — тем не менее никто не закрывается от поисковых роботов.

Аргумент за закрытие: «мы теряем посетителей». Здесь важно вспомнить, ради чего вообще нужен сайт. Не ради посетителей, а ради обращений. Если ваша компания названа в ответе с указанием города, услуг и телефона, человек может позвонить, вообще не заходя на сайт. Это обращение, и оно ничем не хуже.

Аргумент против закрытия — решающий. Закрытый сайт не появляется в генеративных ответах, а появляется конкурент. Вы не защищаете свою долю, вы отдаёте её. При этом никакой компенсации в виде роста обычного трафика не происходит.

Практический вывод для коммерческого сайта: закрываться не нужно. Ваши тексты — не самоценность, а инструмент привлечения клиентов, и чем шире они разошлись с упоминанием компании, тем лучше.

Исключение — сайты, где содержимое и есть товар: платные базы, закрытые каталоги, материалы по подписке. Там ограничения оправданы, но и там закрывать нужно только платный раздел, а не весь сайт.

Что проверить на своём сайте

Порядок действий, который занимает полчаса.

Первое: откройте служебный файл. Он доступен по адресу вашего сайта с добавлением имени файла. Прочитайте его целиком. Если там есть блоки с именами роботов, которых вы не узнаёте, и запретами для них — разберитесь, что это за роботы, прежде чем оставлять.

Второе: проверьте, не закрыт ли сайт целиком. Классическая беда: сайт разрабатывали на тестовой площадке с полным запретом обхода, потом перенесли на боевой домен вместе с этим запретом. Признак — строка с запретом всего для всех роботов. Такой сайт не появляется нигде: ни в поиске, ни в генеративных ответах.

Третье: проверьте, что не закрыты нужные разделы. Бывает, что вместе с админкой и служебными папками случайно закрыт каталог или блог.

Четвёртое: проверьте служебные указания в коде страниц. Помимо файла с правилами, есть указания прямо в разметке страницы, запрещающие показ или переход по ссылкам. Они сильнее файла и часто остаются с этапа разработки на отдельных страницах.

Пятое: проверьте настройки защиты. Многие сайты стоят за сервисами защиты от нагрузки и вредоносного трафика. Такие сервисы часто по умолчанию блокируют всё, что похоже на автоматический обход, — включая полезных роботов. Признак: сайт нормально открывается у людей, но не индексируется и не цитируется. Это самая коварная причина, потому что в файле с правилами всё в порядке.

Шестое: проверьте, не блокирует ли робота хостинг. Некоторые хостинги ограничивают частоту обращений, и робот, получив несколько отказов подряд, приходит реже.

Седьмое: посмотрите логи сервера. Там видно, кто и когда приходил. Если за месяц ни одного визита роботов, кроме поисковых, — это ответ на вопрос, почему вас не цитируют.

Как узнать, что ваш сайт вообще доступен для обхода

Простые способы проверки без специальных инструментов.

Яндекс.Вебмастер. Показывает, что происходит с сайтом с точки зрения поисковой системы: сколько страниц обошли, сколько в поиске, какие ошибки. Если там видны проблемы с обходом — они касаются и остальных роботов.

Проверка отдачи страницы. Откройте страницу в браузере в режиме без сохранённых данных. Если для просмотра требуется что-то нажать, подтвердить или пройти проверку — робот этого сделать не сможет и уйдёт ни с чем.

Проверка содержимого без выполнения скриптов. Если весь текст страницы появляется только после выполнения кода в браузере, часть роботов его просто не увидит. Это частая проблема современных сайтов, собранных на тяжёлых конструкциях: человек видит текст, робот — пустую страницу. Проверяется просмотром исходного кода страницы: если в нём нет ваших текстов, есть о чём подумать.

Спросите у нейропоиска. Самая наглядная проверка: задайте вопрос по вашей теме с указанием города и посмотрите, попала ли ваша компания в ответ и какие сайты попали. Повторите с несколькими формулировками. Это не строгий тест, потому что ответы различаются от запроса к запросу, но общую картину даёт.

Что делать, чтобы вас цитировали

Открытый доступ — необходимое, но недостаточное условие. Дальше начинается вопрос содержания.

Факты вместо прилагательных. В генеративный ответ попадает то, что можно вынести отдельным утверждением: год основания, количество выполненных работ, срок изготовления, радиус выезда, гарантия, цена или диапазон. «Индивидуальный подход и высокое качество» процитировать невозможно.

Прямые ответы на вопросы. Раздел вопросов и ответов на страницах услуг — один из самых цитируемых форматов, потому что он структурно совпадает с тем, что нужно: вопрос и короткий ответ.

Однозначность. Если на трёх страницах сайта указаны разные сроки и цены, источник считается противоречивым.

Понятная структура. Заголовки, отражающие содержание раздела, короткие абзацы, списки. Стена текста разбирается хуже.

Текст, а не картинки. Цены, условия и характеристики, зашитые в изображения, не читаются вообще. Это очень распространённая ошибка: прайс картинкой, преимущества картинкой, схема работы картинкой.

Полнота на одной странице. Материал, где тема раскрыта целиком, цитируется чаще, чем пять коротких страниц, между которыми размазан ответ.

Свежесть. Дата обновления материала и актуальные цифры повышают вероятность, что источник выберут.

Обратная сторона: от кого закрываться нужно

Есть роботы, от которых защита действительно нужна, и путать их с полезными не стоит.

Парсеры цен конкурентов. Ходят по каталогу, снимают цены и наличие. Признак: массовые обращения к карточкам товаров, часто с одного адреса и в определённое время суток.

Сборщики контактов. Собирают телефоны и почтовые адреса для спам-рассылок.

Агрессивные сборщики, создающие нагрузку. Не вредоносные по замыслу, но обходящие сайт так интенсивно, что он начинает тормозить у живых посетителей. Это реальная проблема для больших каталогов.

Роботы, ищущие уязвимости. Обращаются к служебным адресам, которых у вас нет, подбирают доступы.

Как отличать: смотреть логи сервера. Полезные роботы обходят сайт равномерно, представляются понятным образом и уважают указания в служебном файле. Вредные ходят пачками, игнорируют правила и лезут туда, куда посетителю не нужно.

Как ограничивать: не запретами в служебном файле (те, кто игнорирует правила, проигнорируют и это), а ограничением частоты обращений на уровне сервера и блокировкой конкретных адресов. Этим занимается либо администратор, либо сервис защиты — но настраивать его нужно так, чтобы полезные роботы не попали под общую гребёнку.

Как считать результат

Прямой цели «нас процитировали» не существует, но косвенно оценить можно.

Переходы из генеративных ответов. Часть таких переходов видна в Яндекс.Метрике как источник. Объём обычно небольшой, но качество высокое: человек приходит уже понимая, кто вы.

Прямые заходы и заходы по названию компании. Если вас начали упоминать в ответах, растёт число людей, которые ищут вас по имени. Это видно в статистике.

Вопрос при обращении. Простое «как вы нас нашли» с фиксацией ответа в амоСРМ или Битрикс24 закрывает то, что не видно системам аналитики. Формулировки вроде «мне нейросеть подсказала» встречаются всё чаще.

Периодическая проверка вручную. Раз в месяц задавайте пять типовых вопросов по вашей теме и смотрите, кто в ответе. Это грубо, но динамику показывает.

Чего не нужно делать — пытаться измерять место в выдаче. У разных людей результаты разные, а генеративные ответы вообще не имеют понятия позиции. Смотрите на обращения и на их источники.

Как это связано с продвижением 3 в 1

Доступность для роботов — техническая основа, на которой держатся все три канала.

Поиск и нейропоиск. Закрытый или невидимый для обхода сайт выпадает из обоих сразу. Открытый сайт с фактами, ценами и прямыми ответами попадает и в обычную выдачу, и в генеративные ответы. Это две разные механики, но требования к содержанию у них совпадают.

Яндекс.Справочник. Карточка компании в Яндекс Бизнесе — независимый источник фактов о вас: название, адрес, часы работы, услуги, цены, отзывы. Данные из карточки используются в ответах на вопросы о конкретных организациях. Заполненная карточка страхует вас на случай, если сайт по каким-то причинам оказался недоступен для обхода.

2ГИС. Ещё один независимый источник и отдельная аудитория, которая ищет прямо в приложении. Как и карточка в Яндексе, работает даже тогда, когда с сайтом что-то не так.

Три источника нужны именно потому, что каждый может подвести. Сайт закрылся от роботов после обновления — остаются карточки. Карточку потеряли при смене названия — остаётся сайт. Обращения из всех трёх мест считайте вместе, разведя телефоны по каналам.

Короткий список проверки

1. Открыть служебный файл с правилами и прочитать целиком.
2. Убедиться, что нет полного запрета обхода, оставшегося с разработки.
3. Проверить служебные указания в коде отдельных страниц.
4. Проверить настройки сервиса защиты — не блокирует ли он полезных роботов.
5. Посмотреть логи: кто приходил за последний месяц.
6. Убедиться, что тексты видны в исходном коде страницы, а не появляются только после выполнения скриптов.
7. Проверить, что цены и условия написаны текстом, а не картинками.
8. Задать нейропоиску пять вопросов по своей теме и посмотреть, кто в ответе.
9. Настроить учёт обращений и вопрос «как вы нас нашли».

Что в итоге

Роботы нейросетей — не угроза, а канал. Закрываясь от них, вы не защищаете тексты, а отдаёте место в ответах конкуренту. Задача противоположная: убедиться, что сайт доступен для обхода, что тексты видны в коде, что факты написаны однозначно и что цены не спрятаны в картинки.

Отдельно стоит проверить сервисы защиты и настройки хостинга — именно там чаще всего обнаруживается, что сайт технически закрыт от всего мира при формально правильном служебном файле.

Если вы не уверены, доступен ли ваш сайт для поисковых и нейропоисковых роботов и почему вас не упоминают в ответах, — специалисты компании «Сайты Профессионально» проверят это бесплатно: посмотрим служебные файлы, настройки сервера и защиты, логи обхода и содержание страниц, и подскажем, что мешает получать обращения из этого канала.