A/B-тест начинается до запуска
Если команда сначала запускает две версии, а потом решает, какую метрику смотреть, появляется соблазн выбрать тот показатель, где нужный вариант выглядит лучше. Поэтому гипотеза и основная метрика фиксируются заранее.
Формат гипотезы
«Если мы сократим первый экран на mobile KZ, то click → registration вырастет, потому что CTA станет виден раньше».
Здесь есть изменение, сегмент, метрика и объяснение.
Одна крупная переменная
Если вариант B одновременно меняет заголовок, форму, изображение и порядок блоков, вы тестируете целую концепцию. Это допустимо для крупного redesign-теста, но не поможет понять, какой элемент отвечает за результат.
Почему нельзя останавливать тест на первом лидере
В начале выборки несколько случайных событий способны сильно двигать процент. Сегодня B может вести +20%, завтра сравняться. Чем меньше объём, тем осторожнее вывод.
Что смотреть кроме основной метрики
| Основная метрика | Guardrail |
|---|---|
| click → registration | registration → FTD |
| CTR | post-click CR |
| cost per FTD | approval rate |
Guardrail нужен, чтобы локальная победа не ухудшила следующий этап.
Сегменты после теста
Сначала определите общий результат, затем посмотрите крупные сегменты. Если B выигрывает только на desktop, а мобильный трафик составляет 80%, общий rollout может быть ошибкой.
Документируйте проигравшие тесты
Проигрыш — тоже знание. Если гипотеза не сработала, запишите условия. Это экономит бюджет на повторение той же идеи через два месяца.
Когда A/B невозможен
При очень маленьком объёме лучше использовать последовательные наблюдения и крупные изменения, честно признавая ограниченность вывода. Не нужно изображать статистическую точность там, где данных нет.
Связанный материал: как тестировать лендинг.
Определите минимально значимый эффект
До теста решите, какая разница действительно изменит бизнес-решение. Если рост CR на 0,1 процентного пункта не окупает сложность поддержки новой версии, победа такого масштаба неинтересна даже при статистической убедительности.
Не смешивайте тест с перераспределением трафика
Если во время A/B одновременно меняется источник или GEO mix, группы становятся менее сопоставимыми. По возможности рандомизируйте варианты внутри одного и того же потока.
Смотрите на устойчивость
После rollout победителя проверьте, сохраняется ли эффект на полном объёме. Иногда экспериментальная группа была меньше и качественнее, а после масштабирования разница сокращается.
Негативный результат тоже закрывает вопрос
Если тест был корректным и значимого улучшения нет, это повод оставить текущую версию и направить ресурс на другую гипотезу. Не нужно бесконечно «дожимать» идею только потому, что в неё уже вложено время.
Фиксируйте технические сбои отдельно
Если во время теста один вариант несколько часов отдавал ошибку, такой период нельзя просто оставить в итоговой статистике. Отметьте инцидент и решите заранее, как исключить повреждённые данные.
Не меняйте правила победы по ходу
Если основной метрикой был click → registration, нельзя после проигрыша объявить победителем вариант по времени на странице. Вторичные показатели объясняют результат, но не должны задним числом менять критерий успеха.
Rollback должен быть простым
Перед тестом убедитесь, что старую версию можно быстро вернуть. Это особенно важно для технических экспериментов на форме или редиректе, где ошибка сразу влияет на трафик.