Как правильно проводить тестовый анализ: от гипотезы до внедрения

Иван Корнев·10 октября 2026·⏱4 мин

Чтобы понять, как проводить тестовый анализ, сравните контрольную и тестовую группы через статистические критерии. Это проверит бизнес-гипотезы и покажет значимость изменений.

Оглавление

Суть метода и базовые статистические тесты

A/B-тест — это сравнение двух вариантов (контроль A и тест B) на случайных выборках для определения, какой вариант показывает статистически значимое улучшение метрики (конверсия, средний чек, время на сайте).

Для оценки различий применяются основные статистические тесты:

  • t-тест Стьюдента (сравнение средних). Разработан Уильямом Сили Госсетом (Student, 1908). Формула: t = (X̄₁ - X̄₂) / √(s₁²/n₁ + s₂²/n₂), где X̄ — среднее, s² — дисперсия, n — размер выборки.
  • хи-квадрат Пирсона (сравнение пропорций и категориальных данных). Разработан Карлом Пирсоном (χ², 1900).
  • Z-тест (используется для больших выборок, n > 30).
  • тест Манна-Уитни (применяется для ненормальных распределений).

Результат теста оценивается через порог значимости α = 0.05 — это общепринятый стандарт в бизнесе и науке, введённый Рональдом Фишером.

Пошаговый процесс проведения теста

  1. Формулировка гипотез. Определяем нулевую (H0: различий нет) и альтернативную (H1: различия есть) гипотезы.
  2. Расчёт размера выборки. Проводим power analysis для определения необходимого объёма данных.

Потеря данных и денег: если не сохранять сырые данные теста, невозможно провести повторный анализ или проверить ошибки. Внедрение изменения на основе неправильно проведённого теста (малая выборка, преждевременная остановка) ведёт к ложноположительному результату и прямым убыткам. Типичная ошибка — слишком малая выборка, что снижает статистическую мощность, и вы не обнаружите реальный эффект. Используйте калькуляторы размера выборки (например, Evan Miller's Sample Size Calculator) перед запуском. Также существует peeking problem: нельзя подглядывать в результаты теста до его завершения и останавливать его рано — это увеличивает вероятность ложноположительного результата (type I error). Всегда фиксируйте размер выборки заранее.

  1. Рандомизация и сбор данных. Делим аудиторию на случайные группы и накапливаем данные до расчётного объёма.
  2. Выбор статистического теста. Подбираем критерий в зависимости от типа данных (средние, пропорции) и распределения.
  3. Расчёт p-value. Вычисляем вероятность получить такие же или более extreme результаты при условии, что верна H0.

Ложные выводы: неправильная интерпретация p-value — частая ошибка. Запомните: «p = 0.05 означает 95% вероятность, что гипотеза верна» — это заблуждение. Кроме того, статистическая значимость не равна практической значимости: p < 0.05 не означает, что эффект важен для бизнеса. Всегда оценивайте размер эффекта (effect size), например, разницу в конверсии в процентных пунктах.

  1. Принятие решения. Если p < α (обычно 0.05), отклоняем H0 и признаём результат значимым.

Инструменты и российский контекст

Для расчётов подходят:

  • Python: библиотеки scipy.stats, statsmodels.
  • R: функции t.test, chisq.test.
  • Excel: функции T.TEST, CHISQ.TEST.

Российский контекст: Google Optimize (популярный бесплатный сервис для A/B-тестов сайтов) закрыт в сентябре 2023 года и не работает для российских пользователей. Зарубежные сервисы (Optimizely, VWO, AB Tasty) доступны, но оплата российскими картами затруднена из-за санкций. Российские альтернативы: Go.Eddy, Clickfy, а также собственные решения на Python или R.

Примечание: В современных A/B-тестах также популярен байесовский подход. Это альтернатива частотному методу, которая даёт вероятность того, что вариант B лучше A, а не просто p-value. Его используют в сервисах Optimizely и VWO.

Пример для бизнеса

Тестируем новую кнопку "Купить" (вариант B) против старой (вариант A).

  • Метрика: конверсия.
  • Действия: собираем данные за 2 недели, считаем χ²-тест (хи-квадрат Пирсона).
  • Решение: если p < 0.05 и конверсия варианта B статистически и практически выше — внедряем изменение на сайт.

Частые ошибки

  • Множественные сравнения. Если тестируете несколько метрик одновременно, используйте поправку Бонферрони (α_новое = α / k, где k — число тестов). Иначе вырастет шанс ложных открытий.
  • Игнорирование размера эффекта. Фокус только на p-value без оценки реального прироста в бизнес-метриках.
  • Подглядывание (peeking). Остановка теста раньше времени из-за «красивых» промежуточных цифр.

FAQ

Какой тест выбрать для сравнения конверсий? Для сравнения пропорций (долей) используйте хи-квадрат Пирсона.

Что делать, если нужно сравнить средние значения, например, средний чек? Применяйте t-тест Стьюдента, если распределение нормальное, или тест Манна-Уитни, если данные имеют ненормальное распределение.

Как избежать ложных открытий при проверке множества метрик? Применяйте поправку Бонферрони, разделяя стандартный порог значимости (0.05) на количество проверяемых метрик.