A/B-тесты: проверяем гипотезы без самообмана

A/B-тест сайта - это способ проверить изменение на реальных посетителях: часть трафика видит старую версию страницы, часть - новую, а вы сравниваете, где конверсия выше. Ценность метода не в самих вариантах, а в честности: тест защищает от самообмана, когда «мне кажется, так лучше» выдаётся за истину. Но и A/B-тест легко превратить в самообман, если остановить его рано, перепутать случайность с результатом или проверять десять правок сразу. Разберём, как тестировать гипотезы так, чтобы верить выводам, а не подгонять их под желаемое.

Зачем вообще тестировать. Интуиция в дизайне обманчива: красивое не значит продающее, а «очевидно лучшее» решение часто снижает конверсию. A/B-тест заменяет спор о вкусах цифрами. Вместо «давайте сделаем кнопку зелёной, мне так нравится» появляется «зелёная кнопка дала на 12 процентов больше заявок на выборке в несколько тысяч визитов».

Как устроен честный A/B-тест

Одна гипотеза за раз - меняете что-то одно, иначе не понять, что именно сработало
Случайное деление трафика - посетители попадают в версии наугад, а не по дню или устройству
Одновременный показ - обе версии крутятся в один период, чтобы не смешать эффект с сезоном или акцией
Заранее заданная метрика - решаете до старта, что считаете успехом: заявки, а не клики или время на сайте
Достаточная выборка - тест идёт, пока данных хватает для вывода, а не пока цифры не понравились

Пять способов обмануть себя A/B-тестом

Ошибка	Как выглядит	Чем грозит
Ранняя остановка	выключили тест, как только вариант вырвался вперёд	случайный всплеск принят за победу
Мало данных	вывод по паре десятков заявок	разница в пределах шума
Много правок разом	сменили заголовок, кнопку и фото сразу	непонятно, что дало эффект
Подмена метрики	вариант проиграл по заявкам, хвалим за клики	оптимизация не того показателя
Разные условия	версии крутились в разные недели	эффект спутан с сезоном

Что такое статзначимость простыми словами

Статистическая значимость - это ответ на вопрос «а не случайность ли это?». Представьте, что подбрасываете монетку: пять орлов подряд не делают монетку «орловой», это бывает и у честной. Так же и в тесте: вариант, вырвавшийся вперёд на первой сотне визитов, мог просто поймать удачную волну. Статзначимость показывает, насколько мала вероятность, что разница возникла случайно. Пока эта вероятность высока, победителя объявлять рано, каким бы приятным ни выглядел отрыв. Именно нетерпение - остановить тест на красивой цифре - и есть главный источник ложных выводов.

Как провести A/B-тест без самообмана

Сформулируйте гипотезу заранееНе «поменяем и посмотрим», а «если поднять форму выше, доходимость до заявки вырастет». Гипотезу берут из данных, например из карты кликов и скроллов.
Меняйте один элементЗаголовок или кнопку или картинку - что-то одно, чтобы эффект был чистым и объяснимым.
Задайте метрику успеха до стартаРешите, что считаете победой: заявки, звонки, оплаты. Клики и время на сайте - обманчивые метрики.
Дождитесь достаточной выборкиНе останавливайте тест на первом отрыве. Дайте набрать данные, чтобы разница вышла за пределы случайности.
Внедрите победителя и тестируйте дальшеОптимизация - это цепочка тестов, а не один. Закрепили результат - выдвигайте следующую гипотезу.

Совет. Заведите журнал гипотез: что проверяли, какое было предположение, чем закончилось. Половина ценности A/B-тестов - в накопленном знании о том, что в вашей нише работает, а что нет. Через год такой журнал стоит дороже любого чужого «10 приёмов повышения конверсии»: он про ваших клиентов, а не про абстрактных.

Важно. Не запускайте A/B-тест на слабом трафике в надежде на быстрый ответ. Если на страницу заходят десятки человек в неделю, набор достоверной выборки займёт месяцы, и всё это время вы будете принимать решения по шуму. На малом трафике полезнее сначала нарастить поток посетителей и опираться на записи визитов и здравый смысл, а тесты приберечь для страниц с ощутимой посещаемостью.

Проверим гипотезы и поднимем конверсию сайта

Соберём гипотезы из аналитики, настроим корректные A/B-тесты, доведём их до статзначимости и внедрим только то, что реально работает. Конверсия вырастет на фактах, а не на догадках.

Заказать доработку сайта

Когда A/B-тест не нужен

Тест - не единственный инструмент, и не всякое изменение стоит через него прогонять. Явные ошибки чинят без теста: битая форма, нечитаемый на мобильном текст, кнопка, которая не нажимается, - здесь нечего сравнивать, надо просто исправить. Медленную загрузку тоже не тестируют на «а вдруг быстрее хуже» - её ускоряют, потому что скорость влияет и на конверсию, и на позиции, о чём отдельно писали в статье как ускорить сайт. A/B-тест нужен там, где есть реальная развилка и неочевидный ответ: какой заголовок сильнее, какая форма удобнее, какой оффер убедительнее.

A/B-тест честен ровно настолько, насколько честен тот, кто его читает. Остановить эксперимент на цифре, которая нравится, - это не проверка гипотезы, а поиск подтверждения тому, что уже решил. Тест защищает от самообмана только у того, кто готов увидеть неудобный результат.Команда Alavir

Частые вопросы об A/B-тестах

Сколько времени должен идти A/B-тест сайта?

Столько, сколько нужно для достаточной выборки, а не фиксированную неделю. На хорошем трафике это дни, на слабом - недели. Ориентир - набрать достаточно заявок в каждом варианте и захватить полный недельный цикл, чтобы будни и выходные попали в обе версии. Ранняя остановка A/B-теста на красивой цифре - главная причина ложных выводов.

Почему нельзя менять в A/B-тесте несколько элементов сразу?

Потому что вы не поймёте, что именно сработало. Если поменять заголовок, кнопку и фото разом и конверсия вырастет, причина останется неизвестной, а половина правок могла тянуть вниз. Один элемент за тест даёт чистый и объяснимый результат. Множественные изменения проверяют отдельным методом, но начинать стоит с классического A/B.

Что делать, если A/B-тест не показал разницы?

Это тоже результат: гипотеза не подтвердилась, изменение не влияет на конверсию, деньги на его внедрение тратить не нужно. Отрицательный итог A/B-теста экономит бюджет и подсказывает, что рычаг конверсии в другом месте. Занесите вывод в журнал гипотез и переходите к следующей идее из аналитики.

Можно ли доверять A/B-тесту на маленьком трафике?

С осторожностью. На слабом трафике достоверной выборки ждать долго, и весь этот срок решения принимаются по шуму. Для малопосещаемых страниц полезнее сначала нарастить трафик, опираться на записи визитов и очевидные улучшения, а A/B-тесты приберечь для страниц с заметным потоком посетителей, где выборка набирается быстро.

A/B-тест - это дисциплина честности: он повышает конверсию на фактах, а не на вкусах, но только если довести эксперимент до достоверного результата и не подгонять выводы. В Alavir мы дорабатываем сайты и проверяем гипотезы тестами по всей Беларуси с 2013 года: 450+ проектов, официальный партнёр 1С-Битрикс. Хотите растить конверсию по данным, а не по догадкам, - соберём гипотезы, настроим тесты и внедрим победителей. Смотрите доработку сайтов под ключ.