Что такое А/Б тест простыми словами: как проверять идеи цифрами

А/Б тест - инструмент, который завершает джентльменский набор аналитики: метрики показывают, что происходит, конверсия - где теряются люди, а тест отвечает на вопрос «что из этого чинить и как». Это последний шаг от «маркетинга по ощущениям» к маркетингу по цифрам.

Что такое А/Б тест

Идея проста до обидного: не спорить, какой заголовок лучше, а показать оба - и посчитать. Пример из нашей сквозной кондитерской: на сайт заходит 1000 человек в месяц. Половине показываем первый экран «Торты на заказ с доставкой», половине - «Торт на детский праздник: макет за вечер, доставка к часу». Через две недели: вариант А дал 12 заявок, вариант Б - 19. Спор закрыт - не мнением, а поведением 1000 реальных людей.

Почему именно случайное деление: если вариант А показывать в будни, а Б в выходные, вы сравните не заголовки, а дни недели. Случайность выравнивает всё лишнее, оставляя единственное отличие - само изменение.

Что тестировать: приоритеты

Приоритет	Что тестировать	Почему
1	Заголовок и оффер первого экрана	Видят 100% посетителей, решает «остаться или уйти»
2	Цена и её подача (от / пакеты / рассрочка)	Главный фактор решения
3	Кнопка и форма заявки	Последний шаг до конверсии
4	Рекламные объявления и креативы	Много данных, быстрые выводы
5	Тема письма в рассылке	Решает половину успеха письма

Откуда брать гипотезы для тестов: из жалоб и вопросов клиентов, из записей Вебвизора (где люди останавливаются и уходят), из анализа конкурентов. Гипотеза «а давайте попробуем синий» - не гипотеза; «люди уходят с формы из 8 полей, попробуем 2 поля» - гипотеза.

Сколько нужно данных

Главная боль малого бизнеса: при 5 заявках в неделю разница «2 против 4» ничего не значит - это монетка. Что делать по ситуации:

• Трафика много, заявок много. Классический А/Б тест: 100+ конверсий суммарно, 1-2 полные недели (чтобы захватить будни и выходные), потом решение.
• Заявок мало, кликов много. Поднимитесь по воронке: тестируйте объявления по CTR, письма по открытиям. Данных там в 10-50 раз больше, выводы быстрее.
• Мало всего. Честного теста не будет - и это нормально. Сравнивайте «месяц до / месяц после» с поправкой на сезон и помните, что это оценка, а не доказательство. Хуже всего - изображать научность на 30 визитах.

Бесплатно · Telegram

Мышление тестами - навык, который отличает профи

В 4 бесплатных видео разбираем вход в профессию маркетолога: какие навыки приносят деньги быстрее всего, как собрать портфолио и где найти первого клиента.

Смотреть 4 видео Открывается в Telegram

Чем проводить: инструменты

• Яндекс Директ. Эксперименты в кабинете: делят аудиторию между кампаниями или стратегиями. Плюс автоматика сама ротирует объявления внутри группы - несколько вариантов объявления в группе и есть простейший тест.
• VK Реклама. Сплит по аудиториям и креативам - стандартная механика тестов таргетолога, мы разбирали её логику в статье про таргетинг.
• Сервисы рассылок. А/Б тема письма из коробки почти у всех: часть базы получает тему А, часть Б, победитель уходит остальным.
• Сайт. Честный сплит требует инструмента (сервисы А/Б тестирования) или рук разработчика. Обходной путь малого бизнеса - тест «во времени»: неделя А, неделя Б, сравнение с поправкой на сезонность. Менее строго, но лучше, чем ничего.

Тест за 5 шагов

• 1. Сформулируйте гипотезу. «Если показать цену "от 3500" вместо "цена по запросу", заявок станет больше, потому что люди не любят неизвестность».
• 2. Выберите метрику и срок заранее. Одна главная метрика (заявки) и срок (2 недели). Менять их по ходу нельзя - это главный способ обмануть самого себя.
• 3. Одно изменение. Поменяли цену - не трогайте заголовок. Иначе не узнаете, что сработало.
• 4. Запустите и не подглядывайте. Промежуточные «Б побеждает!» на третий день - главный источник ложных выводов. Решение - только по итогам срока.
• 5. Зафиксируйте и продолжайте. Победил Б - внедряете и тестируете следующее. Разницы нет - тоже результат: элемент не важен, идите к следующей гипотезе. Записывайте итоги: журнал тестов через год стоит дороже любого курса.

5 ошибок, из-за которых тесты врут

• 1. Остановили на всплеске. На малых числах лидер меняется каждый день. Решение до конца срока - это выбор случайного момента, а не варианта.
• 2. Шум вместо разницы. «7 заявок против 9» - не победа, а разброс. Держите в голове порог: пока конверсий меньше сотни, к разнице меньше полутора-двух раз относитесь как к шуму.
• 3. Неравные условия. А крутился в будни, Б - в праздники; А на старую базу, Б на новую. Сравнение честно только при случайном делении одной аудитории в одно время.
• 4. Всё сразу. Новый заголовок + новая цена + новая форма = «стало лучше, но почему - неизвестно». Одно изменение за тест.
• 5. Подмена метрики. Заявок больше не стало, «зато выросло время на сайте» - классика самообмана. Метрика объявляется до теста и не меняется.

А/Б тест - это не про статистику, а про честность с самим собой: готовность узнать, что твоя красивая идея не работает. Специалисты с этой привычкой растут быстрее всех - и в найме, и в чеке. Куда встроить навык в общий маршрут - в статье как стать маркетологом с нуля.

Частые вопросы

Что такое А/Б тест простыми словами?

А/Б тест - это честное сравнение двух вариантов: аудиторию случайно делят пополам, одной половине показывают вариант А, другой - вариант Б, и по цифрам смотрят, какой сработал лучше. Так проверяют заголовки, кнопки, цены, объявления и письма. Смысл метода в том, что решение принимает не вкус руководителя, а поведение реальных людей.

Что тестировать в первую очередь?

То, что ближе к деньгам и видно большинству посетителей: заголовок и оффер первого экрана, цену и её подачу, текст главной кнопки, форму заявки, первую строку рекламного объявления, тему письма. Правило приоритета: чем больше людей видят элемент и чем сильнее он влияет на решение о покупке, тем раньше его тестируют. Цвет иконок в подвале не тестируют никогда - эффект не отличить от шума.

Сколько данных нужно для А/Б теста?

Ориентир для практики: минимум 100 целевых действий (заявок, покупок) суммарно на оба варианта и 1-2 полные недели теста, чтобы захватить будни и выходные. Если заявок мало, тестируйте более частые события выше по воронке: клики по объявлению, открытия писем. Малому бизнесу с 5 заявками в неделю классические А/Б тесты сайта почти недоступны - честнее сравнивать периоды и тестировать рекламу, где кликов много.

Чем провести А/Б тест бесплатно?

Три доступных пути: эксперименты в Яндекс Директе - тестирование объявлений и стратегий прямо в рекламном кабинете; сплит по аудиториям в VK Рекламе; ручной тест «во времени» - неделя вариант А, неделя вариант Б с поправкой на сезонность (менее строгий, но рабочий для малого бизнеса). Плюс сервисы рассылок почти все умеют А/Б тест темы письма из коробки.

Почему А/Б тесты показывают неверные результаты?

Пять типовых причин: тест остановили слишком рано на случайном всплеске; данных мало и разница - шум; варианты показывались в разное время (вариант А в будни, Б в праздники); тестировали несколько изменений сразу и непонятно, что сработало; сравнивали неравные аудитории. Лечится дисциплиной: одно изменение, случайное деление, заранее выбранная метрика и срок, решение только по итогам полного периода.