Сколько данных нужно для A/B-теста рекламы: размер выборки

A/B-тест сравнивает два варианта: объявления, аудитории, посадочные страницы. Главный риск — принять решение по случайному колебанию. Если у одного объявления три заявки, а у другого пять, это ещё ничего не значит. Чтобы вывод был надёжным, нужен достаточный размер выборки — количество показов, кликов или посетителей в каждом варианте. Его можно рассчитать заранее.

От чего зависит размер выборки

Базовая конверсия

Текущая доля людей, совершающих целевое действие. Чем она ниже, тем больше людей нужно, чтобы набрать достаточно конверсий для сравнения.

Минимальный заметный эффект

Насколько должна отличаться конверсия варианта, чтобы вы считали разницу важной. Чем меньше эффект вы хотите заметить, тем больше нужна выборка. Обнаружить небольшое улучшение гораздо сложнее, чем крупное.

Уровень значимости

Допустимая вероятность ошибочно признать разницу там, где её нет. Его выбирают заранее; в калькуляторах обычно уже стоит общепринятое значение по умолчанию.

Мощность теста

Вероятность обнаружить реальную разницу, если она есть. Чем выше мощность, тем больше нужна выборка. В калькуляторах также есть значение по умолчанию.

Как рассчитать на практике

1. Возьмите базовую конверсию из прошлых данных: например, долю кликов, превратившихся в заявки.
2. Решите, какое минимальное улучшение для вас значимо.
3. Откройте калькулятор размера выборки для A/B-тестов — их много в открытом доступе.
4. Введите базовую конверсию и минимальный эффект, оставьте стандартные значимость и мощность.
5. Калькулятор покажет, сколько посетителей или кликов нужно в каждом варианте.

Зная число кликов в день, вы оцените, сколько дней займёт тест и какой бюджет на него потребуется.

Встроенные тесты кабинетов

Meta, Google Ads и Яндекс Директ имеют инструменты экспериментов. Они делят аудиторию так, чтобы варианты не пересекались, и показывают оценку достоверности результата. Это удобнее ручного сравнения двух групп, где аудитории пересекаются, а алгоритм распределяет бюджет неравномерно. Используйте встроенные тесты для важных решений.

Что делать, если трафика мало

• Тестируйте крупные изменения: разные подходы, а не оттенки кнопки
• Сравнивайте по более частому событию, например по клику или началу заполнения формы, понимая ограничения такого вывода
• Объединяйте похожие тесты в один период
• Удлиняйте тест, не меняя условий

Почему нельзя останавливать тест рано

Если смотреть на результат каждый день и остановить тест, как только один вариант вырвался вперёд, вероятность ложного вывода резко растёт. Колебания в начале нормальны. Заранее определите размер выборки или срок и не делайте выводов до его достижения.

Учитывайте особенности рекламы

1. Обучение алгоритма: первые дни варианты могут работать нестабильно.
2. Дни недели: тест должен включать полные недели, чтобы будни и выходные были представлены одинаково.
3. Сезонность: не запускайте тест в период резких изменений спроса.
4. Выгорание: результат креатива меняется со временем.

Типичные ошибки

• Тест на десятках кликов с выводом «вариант Б лучше»
• Одновременное изменение нескольких элементов
• Сравнение разных периодов вместо параллельного теста
• Пересекающиеся аудитории вариантов
• Подгонка критерия успеха после получения результатов

Как оформить тест

Запишите до старта: гипотезу, варианты, метрику, минимальный эффект, расчётный размер выборки, срок, бюджет. После теста — фактические данные, вывод и решение. Такой протокол превращает тесты в накопленное знание, а не в набор случайных впечатлений.