Як зробити тестування A/B ефективним, приклади успішних тестів

Цей приклад добре ілюструє то, що A/B-тестування не завжди дає результат і що вибрати відповідний елемент для тесту не так вже і просто.

Найкраща утиліта для аналізу

Багато утиліти для тестування пропонують власні модулі для обробки отриманих даних. Однією з кращих утиліт для аналізу отриманої інформації є Google Analytics.

Хорошим варіантом буде вибір Google Analytics і в як утиліти для проведення тесту, не тільки для аналізу, адже він дозволяє це зробити. Після проведення експерименту Google вказує наступну інформацію: ефективність тестируемых сторінок, найбільш ефективний варіант, конверсию, кількість відвідувань і багато інші показники, які знадобляться для повної картини експерименту.

Також відмінним вибором буде Optimizely. Цей сервіс заточений тільки під A/B тестування. Його відмінна риса — це можливість зміни зображень, редактировалния кнопок, а також підтримка сторонніх скриптів. Сервіс безкоштовний, проте дорогі тарифні плани дозволяють проводити мультивариантное тестування.

Visualwebsiteoptimezer краще всього підійде для мультивариантного тестування, так як це його основна фішка. Сервіс платний і обійдеться в $49 в місяць (залежить від кількості відвідувачів на сайті).

Unbounce.comспеціалізується на створенні лэндингов, проте дозволяє запустити A/B тестування. Якщо по яким-то причин вас не влаштовують спеціалізовані сервіси, то можна спробувати його. Вартість підписки — $49 в місяць(залежить від кількості відвідувачів на сайті).

З російськомовних сервісів можна виділити abtest.ru, котрий є практично повної копією Optimizely. Зараз він знаходиться в бета-тестуванні, а перевага його в тому, що він поки абсолютно безкоштовний, хоча з работтоспособностью поки є явні проблеми.

Ніж більше аудиторія, тим краще

Проводити тестування маючи відвідуваність в 100 людина — дуже і дуже нерозумно. Для ефективного тесту вам буде потрібно велика призначена для користувача база і якщо такий у вас немає, то існує 2 варіанти. Або відмовитися від тестування, або нагнати штучний трафік, проте в такому випадку результати можуть помітно відрізнятися від реальних.

Уявіть, що ваш A/B-тест проводився на 100+ користувачів. Показник конверсії буде занадто далекий від істини, щоб вибрати відповідний варіант. Різниця в кількості зареєстрованих користувачів дуже мала, а показник конверсії сильно відрізняється. Тому, щоб від проведеного тесту був толк, потрібно використовувати велику аудиторію.

Будьте чесні зі своїми користувачами

Багато інтернет-магазини і компанії аналізують портрет користувача і на підставі цього виводять йому різну інформацію. Проте недобросовісні компанії використовують отриману інформацію в корисливих цілях.

До наприклад, магазин florist.ru міняв ціни в залежно від того, з якого комп'ютера був запущений сайт і показував більше високі ціни для користувачів MacBook і iMac.

Природно, маючи такі знання про користувача, маркетологам складно стриматися і не спробувати заробити на цьому. Одними з перших цієї фішкою скористалися авіакомпанії. На підставі того, як часто ви перевіряли ціну на той або інакший квиток, сайт усi збільшував і збільшував ціну.

Якщо зайти на сайт авіакомпанії з допомогою режиму інкогніто, можна в цьому легко переконатися.

Проте багато компанії використовують інформацію, отриману з допомогою A/B-тестування і у взаємовигідних цілях. До наприклад, інтернет-магазин Flowwow аналізує, які квіти чоловік дарує своєї другий половинці частіше всього і потім в знаменні дати пропонує букети на підставі її улюблених квітів.

В як ще одного прикладу можна привести кілька інтернет-магазинів доставки готової їжі, які пропонують своїм користувачам вибрати улюблені блюда з допомогою цікавих тестів. І після, на підставі отриманої інформації пропонують більше відповідну вибірку.

Проаналізувавши портрет свого користувача, можна використовувати отриману інформацію різними шляхами. Хто-то використовує її для власної вигоди, хто-то для взаємної користі. Бажання нажитися говорить про недалекоглядності маркетологів, адже отриману інформацію можна використовувати в течія 5-6 років, а то і більше, було б терпіння. А такі недобросовісні стратегії ставлять хрест на лояльності покупців компанії.

Помилки

А тепер перейдемо до самим поширеним помилок, які зводять ефективність A/B-тестування до нулю.

Помилка №1. Тестування випадкового елемента

Занадто часто маркетологи беруть елемент для тесту навмання і не Дивно, що подібні тести закінчуються нічим. Зрозуміло, вам може повезти. Але давайте будемо відвертими, з який ймовірністю?

Помилка №2. Проведення декількох одночасних тестів

Ви вирішили провести кілька тестів одночасно. Один на сторінці покупки, другий на сторінці з кращими товарами і третій на головною сторінці. Економите час? Да. Є чи в цьому сенс? Немає.

Проведення декількох тестів одночасно може і напевно посилить ефективність кожного з них. Якщо ви усi ж хочете запустити кілька одночасних тестів, то варто об'єднати їх. До наприклад так, щоб користувачі бачили або повністю новий дизайн або повністю старий.

Помилка №3. Непотрібна поспіх

І, як наслідок, раннє згортання тестування.

Помилка №4. Посередній аналіз інформації

Уявіть собі, що ви володієте інтернет-магазином по продажу їжі і у вас є два варіанти лэндинга: один з гамбургером, а другий з голою дівчиною. Відгадайте, конверсія якого лэндинга буде більше?

Звичайно, з дівчиною. Проте після цього, яка буде конверсія в покупку? Будуть чи користувачі, кликнувшие на дівчину думати про покупці їжі? Навряд чи.

Помилка №6. Ігнорування мультивариативных тестів

Ви зробили дві головних сторінки, прогнали їх A/B тестом і виявилося, що конверсія варіанти В на 12% більше. Ви з радістю припинили тест, проте тут тестування тільки починається.

Вивчіть елементи головних сторінок, визначте на підставі чого один варіант виграв, а другий програв. Замініть ці елементи і зробіть тест ще раз, подивіться на конверсию. І тепер у вас вийде шість варіантів замість 2. З допомогою отриманої інформації можна домогтися набагато кращих результатів.

Успішні тестування

Проте, якщо ви не допустите цих помилок, то результати тестування можуть бути дуже і дуже корисні. Ось кілька подібних прикладів.

Всього одне слово

…знадобилося змінити сайту Unbounce, щоб збільшити CTR на 90%. Зміна кнопки «Start YOUR free 30 day trial» на «Start MY free 30 day trial» показало дійсно космічний результат.

Кому потрібні особи?

Досвід компанії HubSpot дуже цікавий. По результатами їх тестування головна сторінка з особою на ній отримала на 50% менше кліків.

Так виглядав варіант А

Так виглядав варіант В

Незважаючи на то, що в варіантах були ще зміни, вони були дуже незначні і не могли вплинути на результат. Компанія вирішила додати особи (причому особи співробітників) і на інші сторінки і на деяких з них, це показало позитивний ефект. Іноді результати можуть бути дійсно несподіваними!

Люди або речі?

Погляньте на ці варіанти тесту.

Як думаєте, який з них зібрав більше кількість кліків по відео: той, де зображені особи людей або той, де зображені предмети?

Версія з особами зібрала на 50% менше кліків, ніж з предметами. Крім превью відео більше нічого не змінювалося, тому логічно буде припустити, що саме особи людей стали причиною зниження кількості кліків.

Здивовані? Компанія Autodesk, яка проводила це тестування, була здивована не менше.

Висновок

Ось, наскільки незвичайними можуть бути результати A/B-тестування. Різна цільова аудиторія, час проведення тесту і багато інше може вплинути дати абсолютно різні результати, які іноді навіть суперечать логіці.

Проте A/B-тестування по-як і раніше залишається однією з самих ефективних маркетингових стратегій для порівняння ефективності різних варіантів. Сподіваємося, що з нашій статті ви дізналися про ньому більше!