Как правильно проводить A/B тестирование: алгоритм сплит-тестов

Иван Корнев·5 октября 2026·⏱4 мин

A/B тестирование позволяет проверить причинно-следственную связь изменений в продукте. Для валидного результата используйте шаблон гипотезы, рассчитайте выборку до старта и применяйте доступные в РФ инструменты.

Оглавление

Формулировка гипотезы и выбор метрик

Любой сплит-тест начинается с четкой гипотезы. Она должна строиться по строгому шаблону: «Если мы сделаем [изменение], то [метрика] изменится на [X]%, потому что [причина]». Это исключает хаотичные правки и фокусирует команду на конкретной цели.

Для оценки результата необходимо выбрать:

  1. Одну первичную метрику (например, конверсия в покупку или регистрация).
  2. 1–2 ограничивающие (guardrail) метрики (например, процент отписок или среднее время на сайте). Они нужны, чтобы убедиться, что рост первичной метрики не обрушивает другие важные показатели бизнеса.

Расчет выборки и длительность теста

Расчет размера выборки обязательно проводится до начала теста. Использование стандартных отраслевых параметров гарантирует надежность данных:

  • Уровень доверия (confidence level): 95% (уровень значимости Alpha = 0.05).
  • Статистическая мощность (power): 80%.

Риск преждевременной остановки (peeking problem) Проверка результатов и остановка теста до достижения расчетного размера выборки искусственно завышает шанс ложноположительного вывода. Это приводит к внедрению изменений, которые на самом деле не работают.

Длительность теста: минимум 1–2 полных недели (7–14 дней). Это критически важно для учета недельной сезонности и различий в поведении пользователей в будни и выходные.

Инструменты для A/B-тестов в России

Зарубежные SaaS-решения для A/B-тестов (например, Optimizely, VWO) недоступны для оплаты российскими банковскими картами, а Google Optimize закрыт глобально с сентября 2023 года.

Для проведения тестов в текущих условиях доступны следующие решения:

  1. Яндекс Метрика (Вариокуб). Бесплатный, полностью локализованный инструмент, данные хранятся в РФ.
    • Путь в меню: вкладка «Яндекс Метрики» → «Вариокуб».
  2. GrowthBook. Open-source платформа. Self-hosted (самостоятельно размещаемая) версия бесплатна и имеет неограниченные возможности.
  3. PostHog. Open-source платформа. Self-hosted версия распространяется под лицензией MIT и предоставляется бесплатно для самостоятельного развертывания.

Для сложных продуктов рекомендуется самостоятельный хостинг GrowthBook или PostHog на российских серверах (Яндекс Облако, Selectel и др.), что полностью обходит ограничения на оплату зарубежных подписок.

Юридические риски (штрафы) При использовании Яндекс Метрики или self-hosted систем сбора данных необходимо разместить на сайте политику конфиденциальности и получить явное согласие пользователя на обработку персональных данных в соответствии с 152-ФЗ РФ (например, через баннер cookie или галочку в форме).

Риск потери данных При самостоятельном хостинге (self-hosted) GrowthBook или PostHog без настроенного регулярного резервного копирования возможна безвозвратная потеря истории экспериментов и настроек.

Интерпретация результатов

A/B-тест проверяет именно причинно-следственную связь (почему изменилась метрика), в отличие от простого сравнения периодов «до/после», на которое влияют внешние факторы.

Критерий успеха: p-value < 0.05 для первичной метрики при достижении расчетного размера выборки. Это означает статистическую значимость результата (вероятность ошибки первого рода менее 5%).

Риск потери денег Внедрение изменения без достижения статистической значимости (p-value > 0.05) может привести к реальному падению конверсии и прямым убыткам. Никогда не принимайте решения на основе "интуитивно понятного" роста без статистического подтверждения.

Что делать, если результат незначим (p-value > 0.05):

  1. Не внедрять изменение.
  2. Проверить, не был ли занижен минимальный детектируемый эффект (MDE) при расчете выборки.
  3. Попробовать сегментировать аудиторию: возможно, изменение работает только для мобильных пользователей или новой аудитории, но размывается в общих цифрах.

Частые ошибки

  • Запуск параллельных изменений. Например, включение новой рекламной кампании только для версии B. Это нарушает чистоту эксперимента, делая результаты невалидными, так как вы не можете отделить эффект от изменения в продукте от эффекта рекламы.
  • Игнорирование guardrail-метрик. Рост конверсии в покупку за счет агрессивных pop-up окон может привести к катастрофическому росту отписок от рассылки, что в долгосрочной перспективе убыточно.
  • Сравнение "до" и "после" вместо сплит-теста. Внешние факторы (праздники, действия конкурентов, сезонность) искажают картину, не позволяя сделать вывод о причинно-следственной связи.

FAQ

Можно ли остановить тест раньше, если версия B уже сильно опережает версию A? Нет. Ранняя остановка (peeking) ломает статистическую модель и резко повышает вероятность ложноположительного результата. Необходимо дождаться достижения заранее рассчитанного размера выборки.

Почему нельзя просто сравнить конверсию за прошлый месяц и за текущий после внедрения фичи? Такое сравнение не учитывает внешние факторы (сезонность, маркетинговые активности, изменения на рынке). Только одновременное разделение трафика (A/B-тест) позволяет изолировать влияние конкретного изменения и доказать причинно-следственную связь.

Что значит p-value > 0.05 и можно ли все равно внедрить фичу? Это означает, что наблюдаемая разница статистически незначима, и мы не можем отвергнуть нулевую гипотезу. Внедрять такое изменение рискованно. Лучше проанализировать сегменты аудитории или пересчитать выборку с учетом реального MDE и запустить тест заново.