А/Б-тесты на небольшом трафике: что можно проверить и как не обмануться

Про А/Б-тесты принято думать как о занятии для крупных интернет-магазинов, где тысячи посетителей в день и можно за пару дней выяснить, какая кнопка лучше. Владельцу небольшого сайта кажется, что ему это недоступно: заявок десяток в неделю, и любой результат случаен. Отчасти это правда: на малом потоке нельзя проверять мелочи вроде оттенка кнопки. Но можно и нужно проверять крупные изменения, которые способны заметно сдвинуть число обращений, и делать это аккуратно, чтобы не принять случайность за закономерность. В статье разберём, что именно стоит проверять при небольшом трафике, как построить сравнение, сколько ждать, какими цифрами пользоваться и как не обмануться. Результат всегда оцениваем по заявкам: звонкам, формам, сообщениям, их стоимости и доле, доведённой до сделки.

Почему на малом трафике тесты обманывают

Главная причина ошибок: случайный разброс. Если на странице за неделю оставляют заявку пять человек, а после правки семь, это не значит, что правка помогла. На такой выборке разница в две заявки легко возникает сама по себе из-за погоды, дня недели, чьей-то рассылки или единичного звонка от знакомого. Чем меньше обращений, тем сильнее колеблется результат.

Вторая причина: смена условий. За время теста меняется всё: сезон, реклама, праздники, активность конкурентов. Если вы сравниваете два периода подряд, различие может объясняться не вашей правкой, а чем-то внешним. Третья причина: человеческое желание увидеть успех. Мы вложили усилия в новую версию и склонны замечать подтверждения и игнорировать противоречия.

Чтобы не обмануться, нужны три вещи: крупные изменения вместо мелких, честное сравнение в одинаковых условиях и достаточное число обращений. Если их нет, лучше не называть результат тестом, а считать наблюдением, на основании которого вы принимаете осторожное решение.

Что проверять, а что оставить в покое

На небольшом потоке проверяйте только то, что способно изменить долю заявок на десятки процентов, а не на единицы. К таким изменениям относятся: главный заголовок и первое обещание на странице; наличие и содержание блока с ценой или диапазоном; способ связи, например, форма против звонка и кнопки мессенджеров; длина формы; предложение первого шага, такого как бесплатная консультация или пробная услуга; блок с отзывами и подтверждениями; порядок разделов на странице услуги.

Не стоит проверять цвет кнопки, шрифт, расстояния и мелкие слова в подписях. Их влияние слишком мало, чтобы его заметить на вашем потоке: вы можете ждать полгода и всё равно не получить внятного вывода. Лучше потратить время на изменения, которые вы заранее считаете весомыми, и принять решение по здравому смыслу там, где проверить нельзя.

Хороший способ выбрать, что тестировать: посмотреть записи действий посетителей и карту кликов в Яндекс.Метрике и найти место, где люди чаще всего уходят или останавливаются. Если до формы доходит каждый десятый, проверять надо то, что находится перед ней, а не саму форму. Гипотеза должна звучать так: «если мы покажем цену на странице, то доля заявок вырастет, потому что люди перестанут бояться неизвестной суммы».

Какие бывают способы сравнения

Классический А/Б-тест разделяет посетителей на две группы: одной показывается старая версия, другой новая, одновременно. Это самый честный способ, так как внешние условия одинаковы для обеих. Но он требует инструментов и достаточного трафика. В Яндекс.Метрике есть эксперименты, которые позволяют разделить посетителей и сравнить цели по группам; для их использования достаточно подключить код и настроить варианты.

Если трафика мало, возможны упрощённые способы. Последовательное сравнение: две-четыре недели со старой версией, затем две-четыре недели с новой, в схожих условиях. Недостаток: влияние сезона и рекламы. Чтобы его уменьшить, сравнивайте не абсолютное число заявок, а долю заявок среди посетителей страницы. Сравнение по похожим страницам: на двух однотипных страницах услуг применяйте разные варианты и смотрите долю заявок, помня, что услуги различаются. Чередование по неделям: чётные недели одна версия, нечётные другая; это сглаживает сезонность, но требует терпения.

Для проверки текстов рекламы в Яндекс Директе используют встроенные возможности нескольких объявлений в одной группе: система показывает их попеременно, и вы видите, какое приводит больше заявок. Для рассылок разделите список пополам и отправьте разные заголовки, но учтите, что при списках в сотню человек выводы будут грубыми.

Сколько ждать и сколько заявок нужно

Практическое правило: чем крупнее ожидаемая разница, тем меньше нужно заявок. Если вы ожидаете, что новый вариант даст прирост в полтора-два раза, достаточно нескольких десятков обращений на каждый вариант. Если ожидаете прирост в десять-двадцать процентов, нужны сотни обращений, и на малом потоке это недостижимо за разумный срок. Поэтому честный вывод для небольших сайтов: проверяйте только крупные изменения.

Срок теста должен включать полные недели, чтобы учесть различия между будними и выходными днями, и как минимум две недели. Не завершайте тест досрочно только потому, что один вариант вырвался вперёд на третий день: ранние лидеры часто возвращаются к среднему. Заранее решите, сколько обращений или сколько недель вы ждёте, и не меняйте правило по ходу. Если за срок накопилось слишком мало обращений, продлите тест, а не принимайте решение на тех данных, что есть.

Хорошая привычка: до начала записать в одну строку, что вы проверяете, какой результат ожидаете, когда закончите и какое решение примете при каждом исходе. Это защищает от самообмана: вы не сможете задним числом объявить успехом любое колебание.

Что считать результатом: заявки, а не клики

Выбирайте главную цель теста заранее, и это должна быть заявка: отправка формы, звонок, сообщение в мессенджер. Клики по кнопкам, время на странице и глубина просмотра вторичны: они бывают приятными, но не приносят денег. Бывает, что новый вариант увеличил число кликов, но заявок стало меньше, потому что люди кликали по привлекательному, но неподходящему предложению.

Идеальный показатель: число обращений, доведённых до сделки, но на малом потоке он слишком шумный. Поэтому используйте два уровня. Основной: доля посетителей страницы, оставивших заявку. Проверочный: качество этих заявок, то есть сколько из них целевые и сколько дошло до сделки. Заявки можно сравнивать по отметкам в СРМ: источник, вариант страницы, статус обращения. Если новый вариант привёл больше обращений, но все они нецелевые, это не победа.

Для учёта звонков используйте АйПи-телефонию или коллтрекинг, например, Коллтач или Каллибри, а формы и мессенджеры отслеживайте целями в Яндекс.Метрике. Для каждого варианта страницы подключайте свою метку в ссылках рекламы, чтобы видеть, откуда пришли заявки именно на этот вариант.

Как организовать тест в ХостСМС и на других системах

В ХостСМС проще всего сделать два варианта страницы как два отдельных элемента структуры либо как один элемент с переключаемым фрагментом. Для эксперимента через Яндекс.Метрику подключается код, который показывает посетителям разные версии, а цели считаются по группам. Для последовательного сравнения достаточно хранить прежнюю версию в резервной копии или в истории изменений и записать дату переключения.

В 1С-Битрикс для тестов используют дублирование страницы или условия показа компонентов, в ВордПресс отдельные записи или дополнения для сравнения вариантов. Но любая система подойдёт, если вы дисциплинированно фиксируете дату изменения и ведёте учёт заявок до и после. Самая надёжная схема для малого сайта: изменить одно крупное место, записать дату, ничего больше не трогать две-четыре недели, затем сравнить.

Принцип одного изменения за раз важен: если вы за неделю поменяли заголовок, цену, форму и картинку, вы не узнаете, что именно помогло. Лучше делать последовательные проверки, чем одну большую правку со смутным результатом.

Как это связано с продвижением 3 в 1

Тестировать нужно не только страницы сайта. Заявки приходят из трёх точек: поиска вместе с нейропоиском, карточки в Яндекс Бизнесе и карточки в 2ГИС. И каждую из них можно проверять простыми сравнениями. Сайт: вариант страницы с ценой против варианта без цены, заголовок с вопросом против заголовка с прямым обещанием. Карточка Яндекс Бизнеса: разные главные фотографии, разные формулировки описания, наличие списка цен; сравнивать нужно звонки и маршруты по статистике карточки за равные периоды. Карточка 2ГИС: прайс, фото, описание; смотрите звонки и переходы по статистике кабинета.

Чтобы сравнение было честным, заведите отдельные номера телефонов для сайта, карточки в Яндекс Бизнесе и карточки в 2ГИС и записывайте, когда вы меняете что-то в каждой точке. Не меняйте всё сразу: если в одну неделю вы обновили и страницу, и фотографии в картах, непонятно, что именно принесло обращения. Обращения с карт считаются наравне с заявками с сайта, и вывод по тесту должен учитывать общий поток, а не только форму на странице.

Особенность нейропоиска: тут непосредственный тест затруднён, потому что вы не управляете показом. Зато можно проверить, цитируют ли ваши прямые ответы, и по обращениям с поиска понять, приводит ли новая структура больше людей. Добавили на страницу блок с чёткими ответами, подождали несколько недель, сравнили долю обращений с поискового трафика. Это ориентир, а не точное измерение.

Простые схемы проверки для разных ситуаций

Если на странице меньше двадцати заявок в месяц, настоящий А/Б-тест невозможен. Применяйте метод «изменение и наблюдение»: сделайте крупную правку на основании здравого смысла и опроса клиентов, оцените общее число обращений за два-три месяца и сравните с прошлым периодом, помня о сезонности. Если заявок от двадцати до ста в месяц, можно проверять только крупные идеи способом чередования по неделям или последовательным сравнением. Если заявок больше ста, возможен классический параллельный тест через эксперименты Яндекс.Метрики на одну-две гипотезы за квартал.

Ещё один полезный метод для малого трафика: качественная проверка. Покажите две версии страницы пяти-десяти реальным людям из вашей целевой аудитории и спросите, что им понятно, чего не хватает, на какую версию они позвонили бы. Это не заменяет цифры, но быстро выявляет явные проблемы. Записи действий посетителей в Яндекс.Метрике тоже дают много информации: где люди теряются, на что нажимают, где прекращают читать.

Типичные ошибки и как их избежать

Первая ошибка: остановить тест, как только один вариант вырвался вперёд. Вторая: проверять мелочи, на которых нет шансов увидеть разницу. Третья: менять несколько элементов одновременно. Четвёртая: сравнивать периоды с разной рекламой или сезоном и приписывать разницу правке. Пятая: оценивать по кликам, а не по заявкам. Шестая: не записывать даты и условия, и через месяц не помнить, что менялось. Седьмая: проводить тест без заранее сформулированной гипотезы, а потом объяснять любые цифры как угодно.

Восьмая ошибка: игнорировать качество обращений. Версия, которая привлекла больше обращений, но снизила долю целевых, может проиграть по деньгам. Девятая: делать выводы на нескольких заявках. Если у вас пять заявок против семи, это не результат. Десятая: прекращать улучшения после первого неудачного теста. Отрицательный результат тоже информация: он показывает, что эта идея не работает, и экономит время на ней в будущем.

Ведём журнал экспериментов

Заведите простую таблицу, в которой для каждого изменения записаны: дата, что изменили, какую гипотезу проверяли, какая цель, сколько посетителей и заявок было до и после, вывод и решение. Через полгода такой журнал становится ценной базой знаний о ваших клиентах: вы увидите, на какие рычаги они реагируют, а на какие нет, и новым сотрудникам не придётся наступать на те же грабли.

Журнал защищает и от потери знаний: специалист ушёл, а выводы остались. Он же помогает объяснять руководителю, почему принято то или иное решение. Записывайте и отрицательные результаты, и сомнительные: «разница в пределах случайности, не меняли». Это честнее, чем делать вид, что каждый эксперимент был успехом.

Вывод: проверяйте крупное и честно считайте заявки

На небольшом трафике А/Б-тесты возможны, но в урезанном виде: крупные гипотезы, честное сравнение в одинаковых условиях, достаточный срок, учёт заявок и их качества, журнал решений. Мелочи лучше решать здравым смыслом, а настоящий эффект искать там, где он способен изменить поток обращений заметно. И не забывайте, что обращения приходят из трёх точек: сайта, карточки в Яндекс Бизнесе и карточки в 2ГИС, поэтому проверять улучшения нужно во всех.

Если вы хотите понять, какие гипотезы стоит проверить именно на вашем сайте, как организовать честное сравнение и настроить учёт заявок, обратитесь за бесплатной консультацией к специалистам компании «Сайты Профессионально». Мы посмотрим вашу статистику в Яндекс.Метрике, подскажем, какие изменения могут дать заметный прирост обращений, и поможем провести проверку без самообмана.