Тонкости A/B тестирования в Email сфере

Два основных вопроса, на которые нужно знать ответы, проводя A/B тестирование: какое количество трафика нужно и как долго проводить тест. Ответы на эти вопросы получить не так просто и даже Google не может помочь, выдавая абсолютно разную информацию.



Мы надеемся, что к концу этого поста вы получите ответы.

Теория vs Реальность

В теории, чтобы узнать победителя среди вариантов А и B, вам нужно дождаться результатов, статистическая погрешность которых не влияет на исход. В зависимости от размера вашей компании, темы тестирования и количества трафика, тест может занимать от нескольких часов до недель.

Но если мы берём во внимание A/B тестирование в эмейл рассылке, излишнее ожидание может стать проблемой. Вот, почему:

• Каждый посланный эмейл имеет конечную аудиторию. В отличие от лэндинга, который продолжает собирать аудиторию на всех стадиях теста, вы не можете добавить новых пользователей в уже прочтённый эмейл. Из-за этого вам придётся посылать письма небольшой части вашей базы и внимательно следить за результатами.
• Запуская эмейл маркетинговую программу, вам придётся отправлять несколько писем в неделю.
• Для отправки писем есть установленное время. Вы наверняка определили лучшее время для отправки писем своим подписчикам. Именно поэтому так важно соблюдать правильный «тайминг» при A/B тестировании. Послав оба варианта в разное время, вы рискуете получить абсолютно нерелевантную информацию.

Как определить аудиторию и время, которое нужно потратить на тест

Как мы уже упоминали вверху: все эмейловые A/B тесты имеют ограниченную конечную аудиторию. Поэтому вам нужно знать, как использовать её максимально эффективно. Вот несколько советов:

• Убедитесь, что у вас достаточная пользовательская база. Для того, чтобы результаты A/B тестирования были хоть сколько-то эффективны, вам нужно иметь как минимум 1000 подписчиков. Чем меньше эта база, тем большую её часть придётся использовать для получения результатов. К примеру, имея 500 подписчиков, вам придётся тестировать 90% из них, чтобы получить хоть какой-то результат. Соответственно, чем больше база, тем меньше подписчиков придётся вовлекать в тест.
• Воспользуйтесь онлайн-калькулятором. С помощью этого калькулятора вы сможете рассчитать количество пользователей, необходимое для проведения A/B рассылки.

• Узнайте значение вводимых параметров. В этом калькуляторе используются такие параметры:
  Population — общее количество ваших подписчиков, которых вы будете тестировать.
  Confidence Interval — статистическая погрешность.
  Confidence level — насколько вы уверены, что выбрали правильную статистическую погрешность.

Пример Давайте установим такие значения:
Population: 1000
Confidence level: 95%
Confidence interval: 10
В нашем примере нужная пользовательская база будет равна 88 людям. Это размер аудитории для каждого варианта A/B тестирования. Для того, чтобы узнать это число в процентах, нужно разделить его на общее количество подписчиков:
88/1000=8,8%



Как выбрать количество времени, нужное для проведения тестирования
Просмотрите статистику по предыдущим рассылкам. Как открывают ваши письма? Если 70% кликов приходится на первые 24 часа, а затем по 5% на последующие дни, то имеет смысл ограничить ваш тест 24 часами.

Проводить тест в последующие дни не имеет смысла, так как его эффективность будет сводиться к нулю. Однако, если у вас достаточно большая пользовательская база и вы не смогли получить нужных результатов за первые сутки, вы можете продлить тест и посмотреть, что будет дальше.

Вот, пожалуй, и всё. После проведения этих расчётов, вы сможете выбрать нужный размер пользовательской базы и время для проведения A/B тестирования эмейл-подписчиков.
(via)