Тонкощі тестування A/B в сфері електронної пошти

Два основних питання, на які потрібно знати відповіді, проводячи A/B тестування: яке кількість трафіку потрібно і як довго проводити тест. Відповіді на ці питання отримати не так просто і навіть Google не може допомогти, видаючи абсолютно різну інформацію.



Ми сподіваємося, що до кінця цього поста ви отримаєте відповіді.

Теорія vs Реальність

В теорії, щоб дізнатися переможця серед варіантів А і B, вам потрібно дочекатися результатів, статистична похибка яких не впливає на результат. В залежно від розміру вашої компанії, теми тестування і кількості трафіку, тест може займати від декількох годин до тижнів.

Але якщо ми беремо у увага A/B тестування в эмейл розсилці, зайве очікування може стати проблемою. Ось, чому:

• Кожен посланий эмейл має кінцеву аудиторію. В відміну від лэндинга, котрий продовжує збирати аудиторію на всіх стадіях тесту, ви не можете додати нових користувачів в вже прочтённый эмейл. З-за цього вам доведеться посилати листи невеликий частини вашої бази і уважно стежити за результатами.
• Запускаючи эмейл маркетингову програму, вам доведеться відправляти кілька листів в тиждень.
• Для відправки листів є встановлене час. Ви напевно визначили краще час для відправки листів своїм подписчикам. Саме тому так важливо дотримуватися правильний «тайминг» при A/B тестуванні. Пославши обидва варіанти в різний час, ви ризикуєте отримати абсолютно нерелевантную інформацію.

Як визначити аудиторію і час, яке потрібно витратити на тест

Як ми вже згадували вгорі: усi эмейловые A/B тести мають обмежену кінцеву аудиторію. Тому вам потрібно знати, як використовувати її максимально ефективно. Ось кілька рад:

• Переконайтеся, що у вас достатня призначена для користувача база. Для того, щоб результати A/B тестування були хоч скільки-то ефективні, вам потрібно мати як мінімум 1000 передплатників. Ніж менше ця база, тим велику її частина доведеться використовувати для отримання результатів. До наприклад, маючи 500 передплатників, вам доведеться тестувати 90% з них, щоб отримати хоч який-то результат. Відповідно, ніж більше база, тим менше передплатників доведеться залучати в тест.
• Скористайтеся онлайн-калькулятором. З допомогою цього калькулятора ви зможете розрахувати кількість користувачів, необхідне для проведення A/B розсилки.

• Дізнайтеся значення вводяться параметрів. В цьому калькуляторі використовуються такі параметри:
  Population — загальне кількість ваших передплатників, яких ви будете тестувати.
  Confidence Interval — статистична похибка.
  Confidence level — наскільки ви впевнені, що вибрали правильну статистичну похибка.

Приклад Давайте встановимо такі значення:
Population: 1000
Confidence level: 95%
Confidence interval: 10
В нашому прикладі потрібна призначена для користувача база буде дорівнює 88 людям. Це розмір аудиторії для кожного варіанти A/B тестування. Для того, щоб дізнатися це число в відсотках, потрібно розділити його на загальне кількість передплатників:
88/1000=8,8%



Як вибрати кількість часу, потрібне для проведення тестування
Перегляньте статистику по попереднім рассылкам. Як відкривають ваші листи? Якщо 70% кліків доводиться на перші 24 години, а потім по 5% на наступні дні, то має сенс обмежити ваш тест 24 годинами.

Проводити тест в наступні дні не має сенсу, так як його ефективність буде зводитися до нулю. Проте, якщо у вас досить велика призначена для користувача база і ви не змогли отримати потрібних результатів за перші добу, ви можете продовжити тест і подивитися, що буде далі.

Ось, мабуть, і усе. Після проведення цих розрахунків, ви зможете вибрати потрібний розмір користувальницької бази і час для проведення A/B тестування эмейл-передплатників.
(via)