Как сделать A/B тестирование эффективным, примеры удачных тестов
- Дата:22.10.2014
- Автор:Александр Мураховский
Понять, что нравится и не нравится вашим пользователям очень не просто. И именно для того, чтобы это сделать маркетологи используют A/B-тестирование — метод маркетингового исследования, при котором один и тот же элемент изменяют и оценивают эффективность.
В этой статье команда Турбосео даст несколько советов о том, как правильно проводить A/B тестирование, какие ошибки наиболее распространены и покажем примеры удачных тестирований.
Советы
Итак, как же правильно проводить A/B-тестирование? Вот несколько правил.
Начинайте тестирование в одно и то же время
Нет никакого смысла проводить A/B-тестирование элемента в разные сроки. К примеру, вы тестируете дизайн сайта и вариант А тестируется с понедельника по пятницу, а вариант B с субботы по четверг. Это абсолютно бесполезно.
Нельзя забывать о том, что разные дни недели отличаются по количеству и разновидности аудитории. Взгляните, к примеру, на эту статистику.
Из нее мы видим, что наибольшее количество посещений было в пятницу, наименьшее — в воскресенье. Именно поэтому нужно проводить тестирование одинаковыми периодами и начинать его в одно и то же время.
Будьте терпеливы
Заблуждение о том, что A/B-тестирование сразу же дает результаты очень распространенно. Суть в том, что для получения хоть какой-то статистики нужно время и большая выборка пользователей. Чтобы избежать бесполезных тестирований, нужно выбирать самые значимые и заметные элементы для теста.
В интернете часто появляются статьи о том, как измененный цвет кнопки увеличил продажи на 400%. Из-за этого наши ожидания слишком завышены. Наберитесь терпения и не торопитесь и тогда, возможно, тест даст даже более эффективный результат, чем вы рассчитывали.
Выбирайте правильный элемент для теста и будьте готовы к тому, что с первого раза может не получится
Вот отличный пример. В 2012 году компания по разработке софта Jitbit,провела A/B тестирование, взяв в качестве тестируемого элемента прокрутку на сайте. Каково же было их удивление, когда конверсия в трех вариантах оказалась абсолютно идентичной!
После, Jitbit провел еще один тест сортировки цен и опять же конверсия разных вариантов была одинаковой.
Этот пример хорошо иллюстрирует то, что A/B-тестирование не всегда дает результат и что выбрать подходящий элемент для теста не так уж и просто.
Лучшая утилита для анализа
Многие утилиты для тестирования предлагают собственные модули для обработки полученных данных. Одной из лучших утилит для анализа полученной информации является Google Analytics.
Хорошим вариантом будет выбор Google Analytics и в качестве утилиты для проведения теста, не только для анализа, ведь он позволяет это сделать. После проведения эксперимента Google указывает следующую информацию: эффективность тестируемых страниц, наиболее эффективный вариант, конверсию, количество посещений и многие другие показатели, которые пригодятся для полной картины эксперимента.
Также отличным выбором будет Optimizely. Этот сервис заточен только под A/B тестирование. Его отличительная черта — это возможность изменения изображений, редактировалния кнопок, а также поддержка сторонних скриптов. Сервис бесплатен, однако дорогие тарифные планы позволяют проводить мультивариантное тестирование.
Visualwebsiteoptimezer лучше всего подойдет для мультивариантного тестирования, так как это его основная фишка. Сервис платный и обойдется в $49 в месяц (зависит от количества посетителей на сайте).
Unbounce.comспециализируется на создании лэндингов, однако позволяет запустить A/B тестирование. Если по каким-то причинам вас не устраивают специализированные сервисы, то можно попробовать его. Стоимость подписки — $49 в месяц(зависит от количества посетителей на сайте).
Из русскоязычных сервисов можно выделить abtest.ru, который является практически полной копией Optimizely. Сейчас он находится в бета-тестировании, а преимущество его в том, что он пока абсолютно бесплатен, хотя с работтоспособностью пока есть явные проблемы.
Чем больше аудитория, тем лучше
Проводить тестирование имея посещаемость в 100 человек — очень и очень неразумно. Для эффективного теста вам потребуется большая пользовательская база и если таковой у вас нет, то существует 2 варианта. Либо отказаться от тестирования, либо нагнать искусственный трафик, однако в таком случае результаты могут заметно отличаться от реальных.
Представьте, что ваш A/B-тест проводился на 100+ пользователях. Показатель конверсии будет слишком далек от истины, чтобы выбрать подходящий вариант. Разница в количестве зарегистрированных пользователей очень мала, а показатель конверсии сильно отличается. Поэтому, чтобы от проведенного теста был толк, нужно использовать большую аудиторию.
Будьте честны со своими пользователями
Многие интернет-магазины и компании анализируют портрет пользователя и на основании этого выводят ему разную информацию. Однако недобросовестные компании используют полученную информацию в корыстных целях.
К примеру, магазин florist.ru менял цены в зависимости от того, с какого компьютера был запущен сайт и показывал более высокие цены для пользователей MacBook и iMac.
Естественно, имея такие знания о пользователе, маркетологам сложно сдержаться и не попробовать заработать на этом. Одними из первых этой фишкой воспользовались авиакомпании. На основании того, как часто вы проверяли цену на тот или иной билет, сайт все увеличивал и увеличивал цену.
Если зайти на сайт авиакомпании с помощью режима инкогнито, можно в этом легко убедиться.
Однако многие компании используют информацию, полученную с помощью A/B-тестирования и во взаимовыгодных целях. К примеру, интернет-магазин Flowwow анализирует, какие цветы мужчина дарит своей второй половинке чаще всего и потом в знаменательные даты предлагает букеты на основании ее любимых цветов.
В качестве еще одного примера можно привести несколько интернет-магазинов доставки готовой еды, которые предлагают своим пользователям выбрать любимые блюда с помощью занимательных тестов. И после, на основании полученной информации предлагают более подходящую выборку.
Проанализировав портрет своего пользователя, можно использовать полученную информацию разными путями. Кто-то использует её для собственной выгоды, кто-то для взаимной пользы. Желание нажиться говорит о недальновидности маркетологов, ведь полученную информацию можно использовать в течение 5-6 лет, а то и больше, было бы терпение. А такие недобросовестные стратегии ставят крест на лояльности покупателей компании.
Ошибки
А теперь перейдем к самым распространенным ошибкам, которые сводят эффективность A/B-тестирования к нулю.
Ошибка №1. Тестирование случайного элемента
Слишком часто маркетологи берут элемент для теста наугад и не удивительно, что подобные тесты заканчиваются ничем. Разумеется, вам может повезти. Но давайте будем откровенными, с какой вероятностью?
Ошибка №2. Проведение нескольких одновременных тестов
Вы решили провести несколько тестов одновременно. Один на странице покупки, второй на странице с лучшими товарами и третий на главной странице. Экономите время? Да. Есть ли в этом смысл? Нет.
Проведение нескольких тестов одновременно может и наверняка усугубит эффективность каждого из них. Если вы все же хотите запустить несколько одновременных тестов, то стоит объединить их. К примеру так, чтобы пользователи видели или полностью новый дизайн или полностью старый.
Ошибка №3. Ненужная спешка
И, как следствие, раннее сворачивание тестирования. 
Ошибка №4. Посредственный анализ информации
Представьте себе, что вы владеете интернет-магазином по продаже еды и у вас есть два варианта лэндинга: один с гамбургером, а второй с голой девушкой. Отгадайте, конверсия какого лэндинга будет больше?
Конечно, с девушкой. Однако после этого, какова будет конверсия в покупку? Будут ли пользователи, кликнувшие на девушку думать о покупке еды? Вряд ли.
Ошибка №6. Игнорирование мультивариативных тестов
Вы сделали две главных страницы, прогнали их A/B тестом и оказалось, что конверсия варианта В на 12% больше. Вы с радостью прекратили тест, однако здесь тестирование только начинается.
Изучите элементы главных страниц, определите на основании чего один вариант выиграл, а второй проиграл. Замените эти элементы и сделайте тест еще раз, посмотрите на конверсию. И теперь у вас получится шесть вариантов вместо 2. С помощью полученной информации можно добиться гораздо лучших результатов.
Успешные тестирования
Однако, если вы не допустите этих ошибок, то результаты тестирования могут быть очень и очень полезны. Вот несколько подобных примеров.
Всего одно слово
…понадобилось изменить сайту Unbounce, чтобы увеличить CTR на 90%. Изменение кнопки «Start YOUR free 30 day trial» на «Start MY free 30 day trial» показало действительно космический результат. 
Кому нужны лица?
Опыт компании HubSpot очень интересен. По результатам их тестирования главная страница с лицом на ней получила на 50% меньше кликов.
Так выглядел вариант А
Так выглядел вариант В
Несмотря на то, что в вариантах были еще изменения, они были очень незначительны и не могли повлиять на результат. Компания решила добавить лица (причем лица сотрудников) и на другие страницы и на некоторых из них, это показало положительный эффект. Иногда результаты могут быть действительно неожиданными!
Люди или вещи?
Взгляните на эти варианты теста. 
Как думаете, какой из них собрал большее количество кликов по видео: тот, где изображены лица людей или тот, где изображены предметы?
Версия с лицами собрала на 50% меньше кликов, чем с предметами. Кроме превью видео больше ничего не менялось, поэтому логично будет предположить, что именно лица людей стали причиной снижения количества кликов.
Удивлены? Компания Autodesk, которая проводила это тестирование, была удивлена не меньше.
Вывод
Вот, насколько необычными могут быть результаты A/B-тестирования. Различная целевая аудитория, время проведения теста и многое другое может повлиять дать абсолютно разные результаты, которые иногда даже противоречат логике.
Однако A/B-тестирование по-прежнему остается одной из самых эффективных маркетинговых стратегий для сравнения эффективности различных вариантов. Надеемся, что из нашей статьи вы узнали о нем больше!