A/B-тестирование на сайте: зачем нужно и как провести тест

Если вы хотите поднять конверсию сайта, но не знаете, с какой стороны зайти к гипотезам и цифрам - эта статья для вас. Разберу, как провести A/B-тестирование на сайте с нуля: от формулировки гипотезы до запуска теста в сервисе, без погружения в сложную статистику уровня дата-сайентиста.

Типичная ошибка новичков - менять на странице сразу несколько элементов и потом гадать, что именно повлияло на результат. Правильный тест меняет один элемент и показывает его конкретной части трафика, а остальным - прежнюю версию.

Связка «одна гипотеза - один изменённый элемент - статистически значимая выборка» работает на сайте любого масштаба, от лендинга на Tilda до каталога на WooCommerce с тысячами посетителей в месяц.

Эта статья - про практичный подход для владельца сайта на WordPress, Tilda или обычном лендинге: как изменить страницу и проверять гипотезы с помощью бесплатных или условно-бесплатных инструментов. Сложные серверные эксперименты здесь не разбираю - это тема для отдельного технического материала.

Что такое A/B-тестирование и зачем оно бизнесу

A/B-тестирование, или сплит-тест, - метод сравнения двух версий одной страницы, при котором трафик делится на две группы: одна видит оригинал, вторая - изменённый вариант. Это не опрос, а проверка на реальном поведении посетителей. Английское название SplitTest обозначает тот же метод - просто прижилось в среде маркетинга как синоним.

Смысл теста - сравнить два варианта страницы относительно контрольной версии, где изменён ровно один элемент, и увидеть, какой показатель вырос: клики, заявки, покупки. Перед запуском определяем, какой из этих показателей будет главным - иначе непонятно, по чему оценивать победителя. Каждая группа видит свою версию случайным образом, система фиксирует действия и считает конверсию отдельно.

Типичные объекты теста - элементы страницы: текст кнопки призыва к действию, заголовок лендинга, цвет и расположение формы заявки, фотография товара в карточке продукта. Бизнес чаще начинает именно с CTA-кнопки - её легко изменить технически, а эффект заметен уже на первой паре недель теста.

A/B-тест стоит отличать от более сложного A/B/n-теста, когда сравнивают три и более варианта одновременно - у такого теста свои задачи по расчёту выборки. Ценность классического сплит-теста в том, что оптимизация страницы строится не на мнении дизайнера, а на данных о поведении посетителей.

Аналитика теста обычно встроена в сервис, который его запускает, но оценку по числу заявок удобнее сверять с данными Яндекс.Метрики - Google Analytics в России доступен ограниченно. Это касается и теста для карточки, и теста, где показана контекстная реклама, и формы, где пользователь оформляет подписку на рассылку.

Популярные кейсы A/B-тестирования в маркетинге - тесты посадочных страниц, тесты офферов в рассылки, сравнение карточек товаров. Компании из разных отраслей используют один принцип: меняем элемент, замеряем показатель, принимаем решение по цифрам, а не по интуиции.

Как сформулировать гипотезу для теста

Гипотеза должна содержать три части: что меняем, какой эффект ожидаем и почему это должно сработать - механизм действия. По сути, гипотеза - это проверяемое предположение, а не бездоказательная догадка: её можно подтвердить или опровергнуть цифрами после теста. Формулировка без третьей части превращается в случайное изменение, а не в проверяемую гипотезу: «поменяем кнопку на зелёную» - это действие без объяснения причины.

Рабочий пример: «Заменить текст кнопки „Отправить“ на „Получить расчёт бесплатно“ (что меняем) - конверсия в заявку вырастет (эффект), потому что пользователь лучше понимает выгоду действия, а не абстрактной отправки формы (механизм)». Другими словами, такая структура сразу задаёт цель теста и критерий, по которому вы будете сравнивать результат.

Задайте себе вопрос перед запуском: насколько сильно выбранный элемент повлиял на поведение пользователя в похожих случаях. Если идея кажется случайной - вернитесь к данным, а не придумывайте гипотезу «из головы».

Источники идей для гипотез - данные веб-аналитики, карты кликов и скроллинга, опросы пользователей о том, что мешает оформить заказ, и анализ воронки покупки. Карта кликов часто показывает проблему: пользователи кликают на нерабочий элемент - это готовая гипотеза для теста.

Отдельный метод поиска идей - похожие страницы сравнивают между собой, когда одна работает заметно лучше другой при сопоставимом трафике. Если разница в конверсии большая, задача - найти, какой конкретный элемент отличается, и сформулировать гипотезу вида «перенос этого элемента на слабую страницу повысит её показатель, потому что...».

Какие этапы включает A/B-тестирование

A/B-тестирование включает шесть последовательных этапов: от гипотезы до внедрения победителя. Пропустить шаг - значит получить цифры, которым нельзя доверять. Опишу каждый этап так, как провожу его сам, когда настраиваю тест на проекте клиента. Правила проведения такого теста одинаковы для любой платформы.

Первый шаг - формулировка гипотезы по модели из предыдущего блока. Второй - выбор ключевой метрики и расчёт минимальной выборки. На этом же шаге нужен guardrail-метрика - показатель, который следит, чтобы тест не навредил другим метрикам, например скорости сайта. Если вариант B поднимает конверсию, но роняет скорость загрузки мобильных страниц - guardrail покажет это раньше, чем бизнес потеряет аудиторию.

Третий шаг - настроить тест в сервисе: завести вариант, прописать правила показа, задать распределение трафика - платформа автоматически распределяет посетителей между вариантами по заданной доле. Четвертый - запустить тест, дать команде собрать данные без вмешательства в код или дизайн. После запуска менять настройки уже нельзя - любое изменение на полпути делает статистику теста недостоверной.

Пятый - проанализировать результаты: сравнить метрики вариантов и проверить статистическую значимость, чтобы убедиться, что разница не возникла случайно. Шестой - внедрить победителя на постоянной основе или, если гипотеза не подтвердилась, начать новый цикл с другой гипотезой.

Какие этапы включает тестирование программы на практике - всегда шесть шагов: гипотеза, расчет метрики и выборки, настройка, запуск, анализ, внедрение. Пропуск этапа настройки чек-листа - частая причина, почему тест приходится перезапускать с нуля.

Как рассчитать выборку и определить длительность теста

Чтобы рассчитать выборку, нужны три параметра: текущая конверсия страницы, минимальный детектируемый эффект и уровень значимости. Минимальный детектируемый эффект - наименьшая разница между вариантами, которую тест способен заметить: если текущая конверсия 3%, а вы хотите поймать рост до 3,3%, выборка понадобится заметно больше, чем для разницы в 1 процентный пункт.

Для расчёта не нужна отдельная статистика - есть готовые бесплатные инструменты. Я использую калькулятор Mindbox и калькулятор Эвана Миллера: вводите текущую конверсию, желаемый эффект и уровень значимости, на выходе получаете нужный размер выборки на каждый вариант. Платформа для тестов часто встраивает такой расчет прямо в интерфейс.

Минимальная длительность теста - от 7 до 14 дней, именно столько нужно, чтобы захватить полный недельный цикл поведения пользователей. Будни и выходные дают разное поведение аудитории, и если тест пройдет только будние дни, результат будет искажен случайностью, а не реальной разницей между вариантами.

Частая ошибка - смотреть на отчет каждый день и останавливать тест раньше срока, увидев обнадеживающие цифры. Это называется p-hacking - преждевременная остановка теста в момент, когда случайное отклонение выглядит как закономерность. Ложноположительный результат возникает именно из-за досрочной остановки: вероятность поймать случайный всплеск в середине теста выше, чем кажется, и через неделю разница может исчезнуть сама собой.

Если трафика на сайте немного, тест может длиться месяц и дольше - лучше дождаться нужного размера выборки, чем принять решение по случайным цифрам.

Как самому создать A/B-тест: пошаговая инструкция

Создать тест самому, без программиста, можно через готовый визуальный сервис - например Яндекс.Эксперименты (Varioqub). Он работает через счётчик Яндекс.Метрики, который уже стоит на большинстве российских сайтов, поэтому отдельная интеграция почти не нужна. В терминологии веб-аналитики такой инструмент называют платформой для онлайн-экспериментов.

Порядок действий такой. Подключите счётчик Метрики к сайту, если он ещё не установлен. Выберите страницу, которую хотите тестировать - лендинг, карточку товара в магазине или страницу подписки: достаточно указать прямые ссылки на нужные страницы в настройках эксперимента. Нажмите на создание эксперимента и настройте вариант B: измените заголовок, цвет кнопки, изображение или блок с текстом - без изменения кода, через визуальный редактор.

1. Подключить счетчик Метрики и дать ему накопить данные по странице
2. Создать эксперимент и указать тестируемую страницу
3. Настроить вариант B: заголовок, цвет кнопки, изображения, блоки текста - вы создаёте его прямо в визуальном редакторе
4. Задать распределение трафика между вариантами, обычно 50 на 50
5. Настроить интеграцию с CRM, чтобы заявки и заказы считались по вариантам (убедитесь, что на сайте есть политика обработки персональных данных и согласие на обработку данных форм - это требование 152-ФЗ)
6. Запустить тест и проверить отображение на мобильных устройствах

Для мобильных нужна отдельная проверка: вариант B, который выглядит нормально на десктопе, может ломать верстку на телефоне - адаптивность проверяйте сразу после запуска. API нужен, только если передача данных в CRM сложнее стандартной.

На моей практике большинство тестов для магазина или лендинга укладываются в стандартный функционал сервиса без единой строчки кода - API нужен редко, когда бизнес хочет связать результаты теста с нестандартной CRM.

Какие инструменты и сервисы выбрать для A/B-тестирования

Все инструменты для A/B-тестирования делятся на три категории, и выбор зависит от бюджета и объёма трафика проекта. Для небольших проектов, где не хочется поручать настройку разработчикам, подходит визуальная платформа без кода - в ней гипотезу собирают через редактор, без правок в шаблонах сайта.

В России основной бесплатный сервис такого типа - Яндекс.Эксперименты (Varioqub), интегрированный с Метрикой. Зарубежные аналоги - VWO и Optimizely - тоже визуальные платформы без кода, но оплата российскими картами там сейчас проблематична, поэтому как основной инструмент я их не рекомендую.

Вторая категория - решения для разработчиков: кастомный код через API, когда логика теста завязана на CRM, а не на вёрстку страницы. Такой подход нужен редко, обычно для крупных интернет-магазинов со сложной базой клиентов.

Третья категория - тесты, встроенные в сами каналы: сервисы рассылок проверяют два варианта письма на части базы подписчиков, а рекламные кабинеты соцсетей сравнивают креативы кампаний прямо в интерфейсе.

Если проект небольшой, не гонитесь за платформой с десятком функций - калькулятор выборки и честный учёт источников трафика важнее настроек интерфейса. Готовые шаблоны и карты кликов подскажут, какой элемент проверить первым, и помогут увидеть хоть немного пользы от будущего теста ещё до запуска.

Для проектов с мобильными приложениями курс действий немного другой - тесты встроены в SDK аналитики, а не в веб-платформу. Это связано с тем, что мобильная аналитика работает по другим принципам, чем контент сайта.

Как читать статистическую значимость результатов

После завершения теста главный вопрос - можно ли доверять числу, которое показывает сервис, и дают ли выводы основание для уверенного решения. Статистическая значимость подтверждается при уровне достоверности 95% и выше - это стандарт, принятый большинством платформ. Ниже этого порога результат нельзя считать надёжным.

P-value ниже 0.05 указывает на статистическую значимость результата: разница между вариантами скорее всего не случайна. Доверительный интервал 95% показывает диапазон, в который с высокой вероятностью попадает реальный эффект изменения на конверсию, а не точное значение.

Здесь важно не попасть в ловушку досрочной остановки теста (p-hacking, о котором я писал выше): прервёте эксперимент в момент случайного всплеска - вывод будет ложным. Оценки на неполной выборке обычно оптимистичнее, чем то, что получится после полного срока.

Победа с хорошим числом отличается от случайного шума тем, что результат стабильно воспроизводится на новых пользователях после окончания теста, а не рассыпается через неделю. Исследование Рона Кохави, одного из идеологов A/B-тестирования в крупных компаниях, показало: лишь часть выдвинутых гипотез подтверждается на практике - значит, сработало далеко не всё, что задумывалось.

Это нормально: не стоит считать неподтверждённую гипотезу провалом - это полезный результат, который экономит деньги на изменении, которое не дало бы роста выручки. Эффективнее признать, что гипотеза не сработала, чем упорно утверждать успех. Если тест показал рост на маленькой выборке - подождите, пока появится достаточная выборка, прежде чем уверенно заявлять об успехе - только так можно увеличить конверсию без риска ошибиться. Частая ошибка новичков - считать тест, успешно отработавший неделю, доказательством успеха раньше срока.

Типичные ошибки A/B-тестирования и как их избежать

Распространенная ошибка приходит от желания проверить всё сразу: меняют цвет кнопки, заголовок и форму одновременно - невозможно понять, какой элемент сработал, а какой сработал плохо. Тестируйте переменные по отдельности - любого формата теста это касается одинаково.

Вторая ошибка - не учитывать сезонность. Трафик в разные недели года ведёт себя по-разному: перед праздниками покупают иначе, чем в обычный месяц, и если замеры наполовину попали на сезон распродаж, а наполовину - на обычные дни, результат будет искажён.

Слишком малый трафик для сайта с низкой посещаемостью - третья частая проблема: тест не наберёт достаточно данных для значимого результата за разумный срок, и решение придется принимать вслепую.

Отдельная ловушка - слепое копирование чужих гипотез. Чужие исследования показывают рост на другом проекте, но аудитория может отличаться от вашей, и то, что улучшает продажи у одного бизнеса среднего размера, у другого ухудшает текущую конверсию. Чтобы улучшить сайт, нужно протестировать гипотезу на своём трафике, а не копировать чужой путь.

Прежде чем доверять результатам, маркетолог проверяет систему через A/A-тест: два одинаковых варианта запускают друг против друга, чтобы убедиться, что сервис честно и случайно делит аудиторию. Если в A/A-тесте уже видна разница в половине случаев, ошибка в настройке - проблема не в гипотезе, а в самой системе сплита. В одном из проектов именно A/A-тест показал перекос в разбивке до того, как начали тратить время на основной эксперимент.

Последняя ошибка - принимать за победу результат «почти значимый», с p-value чуть выше 0.05: лучший вариант действий здесь - продлить тест, а не внедрять улучшения, которые могут не повториться.

Что делать после теста: следующие шаги

Когда тест завершился и показал статистически значимый результат, первым шагом внедряют победивший вариант для всех пользователей, а не только для части аудитории из эксперимента. Процесс обычно идет быстро силами команды, если платформа позволяет включить вариант одной настройкой.

Дальше рекомендуем задокументировать гипотезу и результат: что менялось, какой эффект на продажи или число кликов по целевой кнопке получился. Многие команды начинают именно с него. Если в прошлый раз решили не документировать тест и получилось удачно, важно понимать, почему именно. Такой журнал экспериментов - базовая привычка: помогает не запускать повторно одну идею через полгода и быстрее проверять новые гипотезы по аналогичному запросу аудитории на конкретных сегментах.

1. Внедрить вариант-победитель для всех посетителей
2. Зафиксировать содержание теста и цифры эффекта в журнале гипотез
3. Проверить эффект через 2-3 недели на реальных данных продаж - разница ниже ожидаемой - сигнал посмотреть на сегменты аудитории отдельно
4. Запланировать следующий тест, начиная с гипотез с наибольшим потенциальным влиянием на выручку

Приоритизацию тестов проверяйте по простому принципу: сначала гипотезы, способные сильнее повлиять на деньги бизнеса. Смотрите на отчёт по продажам - он показывает, какие страницы товаров получают больше трафика, но дают низкую конверсию - личные наблюдения владельца часто совпадают с этими цифрами.

Если настраивать A/B-тесты самому не хочется, на бирже Kwork эту задачу - настройку эксперимента, расчёт выборки, анализ результатов - берут на себя фрилансеры-аналитики за несколько тысяч рублей, и это часто дешевле и быстрее, чем разбираться самому.

Главная ошибка, которой читатель теперь избежит, - слепое копирование чужих «успешных» гипотез без проверки на своей аудитории: рост на одном сайте может не сработать на вашем, увидеть результат можно только собственным тестом с честной разбивкой трафика.

Данная статья основана на личном опыте автора и актуальна на момент публикации. Интерфейсы сервисов и алгоритмы поисковых систем регулярно меняются - рекомендую проверять актуальность инструкций на официальных ресурсах. Если у вас остались вопросы - задайте их в комментариях.

Список литературы

1. support.google.com - [GA4] A/B test // Google Analytics Help
2. support.google.com - [GA4] Experiment // Google Analytics Help
3. yandex.ru - Эксперименты с кампаниями // Яндекс.Директ, Помощь
4. Ron Kohavi, Diane Tang, Ya Xu - Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing // Cambridge University Press, 2020