Что такое A/B-тестирование: полное руководство по запуску и анализу

Иван Корнев·7 октября 2026·⏱3 мин

Что такое A/B-тестирование? Это метод исследования, где аудитория делится на равные группы для сравнения двух вариантов (например, версий страницы) и определения, какой из них успешнее достигает цели.

Оглавление

Этапы проведения A/B-теста

  1. Формулировка гипотезы: четко определите, что именно меняете и какой метрический рост ожидаете. Пример: изменение цвета кнопки «Купить» увеличит конверсию в заявку с 3% до 3,5%.
  2. Определение ключевой метрики и расчет выборки: выберите главную метрику (например, конверсия в заявку) и рассчитайте необходимый размер выборки до запуска теста.
  3. Настройка и запуск теста: разделите трафик, как правило, в пропорции 50/50.
  4. Сбор данных: накапливайте данные строго до достижения статистической значимости, избегая преждевременных остановок.
  5. Анализ результатов и внедрение: оцените итоги и внедрите победивший вариант.

Статистическая значимость и анализ результатов

Порогом статистической значимости традиционно считается p-value < 0,05 (или уровень доверия 95%). Это означает, что вероятность того, что наблюдаемая разница между вариантами случайна, составляет менее 5%.

Риск потери денег: внедрение изменений на основе статистически незначимых результатов (p-value > 0,05) или преждевременная остановка теста («подглядывание» при первых «красивых» цифрах до набора расчетного размера выборки) резко повышает шанс ложноположительного вывода. Это может привести к реальному ухудшению конверсии и потере прибыли.

Пример анализа: Если вариант B показал конверсию 5,2%, а вариант A — 5,0%, но p-value = 0,12, разница статистически незначима. Внедрять вариант B нельзя, тест считается неувенчавшимся успехом.

Настройка A/B-теста в Яндекс Метрике (Вариокуб)

Поскольку западные инструменты (например, Google Optimize) закрыты или их использование в РФ затруднено, основным штатным и бесплатным инструментом для проведения A/B-тестов на сайтах в России на 2026 год является модуль «Вариокуб», встроенный в Яндекс Метрику.

Путь в меню для запуска:

  1. В интерфейсе Яндекс Метрики перейдите на страницу Вариокуб → Эксперименты.
  2. Нажмите кнопку Код для сайта.
  3. Добавьте полученный код в элемент head или body вашего сайта.

Для упрощенной установки кода можно использовать Яндекс Тег Менеджер, который также интегрирован в экосистему Яндекс Метрики.

Техническое ограничение: функция Вариокуба может не работать, если сервер сайта устанавливает заголовок Cross-Origin-Opener-Policy со значением same-origin. Это запрещает обмен данными между интерфейсом Метрики и сайтом, и на 2026 год это ограничение не имеет обходного решения.

Риск потери данных и сбоев: некорректная настройка изменений в коде через визуальный редактор может сломать верстку страницы для части пользователей. Всегда проверяйте отображение перед полным запуском.

Частые ошибки

  • «Подглядывание»: преждевременная остановка теста при первом появлении «красивых» цифр до набора расчетного размера выборки.
  • Мультивариантное тестирование без трафика: тестирование слишком многих элементов одновременно без должного объема трафика размывает статистическую мощность и не позволяет понять, какой именно элемент повлиял на результат.
  • Отсутствие АА-теста: перед запуском реального A/B-теста рекомендуется провести АА-тест (эксперимент без изменений в вариантах), чтобы убедиться в корректности сбора данных и равномерности распределения трафика.
  • Отсутствие данных в отчете: если данные не появляются, необходимо воспользоваться консолью браузера для поиска ошибок и убедиться, что цели в Яндекс Метрике настроены корректно и фиксируются.

FAQ

В: Можно ли использовать Google Optimize для A/B-тестов в России в 2026 году?
О: Использование западных инструментов, включая Google Optimize, в РФ закрыто или сильно затруднено. Основным рабочим и бесплатным решением является модуль «Вариокуб» в Яндекс Метрике.

В: Какой размер выборки нужен для A/B-теста?
О: Размер выборки необходимо рассчитать до запуска теста, исходя из текущей конверсии, ожидаемого прироста и требуемого уровня статистической значимости (обычно 95%).

В: Что делать, если p-value больше 0,05?
О: Это означает, что разница между вариантами статистически незначима (вероятность случайности более 5%). Внедрять изменения нельзя, требуется формулировка новой гипотезы.

В: Остается ли «Вариокуб» бесплатным?
О: Да, на текущую дату модуль «Вариокуб» остается бесплатным и штатным инструментом в составе Яндекс Метрики.