Как провести эффективные a/b тесты по мнению 28 экспертов по маркетингу

При A/B-тестировании иногда небольшие изменения могут принести большую отдачу.

Хочешь доказательств? Сплит-тесты помогли одной компании повысьте коэффициент конверсии на 550%.

Вам не нужно быть гением данных или иметь степень по математике, чтобы выполнять тесты A/B. Поменяйтесь несколькими вещами и следите за результатами–вот в чем суть, верно?

Не обязательно; вам нужно быть умнее в отношении тестов, которые вы проводите.

Это не так просто, как поменять кнопку призыва к действию, заметить, что вы получили еще 3 клика в первый день, и развернуть изменения на каждой странице, прежде чем выводить партийные баннеры.

Есть несколько факторов, которые вам необходимо учитывать при выполнении A/B тестов, чтобы убедиться, что они того стоят, в том числе:

• Размер выборки
• Параметры теста
• Результаты или статистическая значимость

...и это лишь некоторые из них.

Переход на страницу с высокой конверсией в одиночку может привести к путанице, поэтому мы попросили 28 маркетологов поделиться своими лучшими советами по проведению A/B-тестов.

От того, чтобы идти против правил, до тестирования только одного элемента за раз, вот что они сказали–и результаты, которые они видели при собственном тестировании.

Определите показатели, которые нуждаются в улучшении

У вас есть стабильная целевая страница, которая конвертируется примерно на 3%.

Отлично! Это выше в среднем 2,35%, но не попадайтесь в ловушку, думая, что ваш коэффициент конверсии-это " B " -все и в конечном итоге все ваши тесты A/B.

Ускорение РостаРебекка Дрейк рекомендует глубже погрузиться в ваши показатели и провести раздельное тестирование, чтобы улучшить плохие результаты, которые вы обнаружите: “Когда я пытаюсь решить, стоит ли А/Б тестировать кампании по электронной почте и что следует протестировать, мне нравится записывать цифры и конверсию на каждом этапе путешествия в одну и ту же электронную таблицу: отправленные электронные письма > открытые > нажатые > посетители веб-сайта > транзакции > общая стоимость транзакций и общий коэффициент конверсии кампании”.

Ребекка добавляет: “Это действительно полезно для определения того, какие коэффициенты конверсии низкие, поэтому указывает на ту часть пути, где есть проблема, которая может стать целью для A/B-теста”.

Проверьте каждый маркетинговый канал, а не только на своем веб-сайте

Конечно, ваш сайт-фантастическое место для проведения сплит-тестов. Вы полностью контролируете ситуацию, и это виртуальный дом вашего бизнеса.

Почему бы вам сначала не сосредоточиться на своем веб-сайте?

Это разумно, но у меня есть одно предостережение: не попадайтесь в ловушку, проводя только A/B-тесты на своем веб-сайте.

“Один из наших наиболее эффективных методов раздельного тестирования-это размещение платной рекламы через Facebook и проведение различных цветовых тестов”, - объясняет Кристель Стейси из BloggingTips.com. “Причина, по которой нам нравится использовать FB для раздельного тестирования, заключается в том, что это позволяет нам за короткий промежуток времени передавать большой трафик по всему сайту”.

Она также не единственная, кто рекомендует эту стратегию.

Blogging.orgЗак Джонсон считает, что “копирование рекламы и заголовки всегда являются одним из самых важных тестов на разделение”, однако оба эти элемента не всегда являются заметными функциями на веб–сайте. Вам нужно заглянуть еще дальше, на платформу, такую как реклама AdWords или Facebook.

Средняя компания, использующая восемь маркетинговых каналовэто означает , что, скорее всего, будет много возможностей для увеличения трафика, вовлеченности и конверсий, если вы проводите A/B-тесты, чтобы максимизировать каждый из них.

Неудивительно, почему маркетологи запускают их в кампаниях по электронной почте, платных социальных сетях и формах:

Определите, что вы ожидаете увидеть

Теперь вы знаете, какие показатели вы хотите улучшить, пришло время перейти к вашей гипотезе.

Это утверждение, похожее на обоснованное предположение, в котором суммируются результаты, которые вы ожидаете увидеть в своих A/B тестах.

Брайан Серок из Маяки Указывают считает, что “очень важно определить четкую гипотезу, которая идентифицирует проблему, которую вы пытаетесь решить с помощью теста”, потому что “формирование вашей гипотезы также поможет вам понять результаты, которые вы должны ожидать от положительного теста”.

Он добавляет: “И не забудьте задокументировать эту гипотезу вместе с решением, тестовой переменной, ожидаемыми результатами и фактическими результатами. Если у вас еще нет механизма для этого, запустите электронную таблицу Google Sheets и запишите свою информацию. Это дает вам место для хранения исторических тестовых данных, которые помогут вам спланировать следующий тест”.

Примечание: Отслеживание результатов тестирования в электронных таблицах? Узнайте больше об интеграции Google таблиц Webresult здесь.

Итак, как вы создаете гипотезу для своих A/B тестов?

Сид Бхарат, из Сид Бхарат Консалтинг Лтд, применяет это на практике: “Например, если вы проверяете заголовок, ваша гипотеза должна быть примерно такой – Я предполагаю, что изменение заголовка на этот приведет к увеличению конверсий на 10%, потому что этот вариант лучше подчеркивает болевую точку”.

Проверьте размер вашей выборки

Вы нашли показатели, которые вы тестируете, и сделали обоснованное предположение об улучшении, которое это принесет.

Прежде чем вносить новые изменения в реальном времени, важно проверить, есть ли у вас размер выборки для теста, который покажет реальные, значимые результаты.

Конечно, применение изменений к странице, которая ежедневно посещается пятью посетителями, покажет вам результаты, но вот в чем дело: Они не будут точными результатами, если у вас небольшой размер выборки.

“Всегда убедитесь, что размер вашей выборки достаточно велик”, - объясняет ТИХООКЕАНСКАЯ цифровая группаэто Шон Мэсси. “Тесты A/B могут завершиться неудачей, если между наборами данных нет статистической значимости. При наличии достаточного количества данных ваш A/B-тест должен быть явным победителем”.

Лаура Гонсалес из Автонация рекомендует “иметь размер выборки меньше 100 недостаточно для определения того, какой тест выполнен лучше. Наличие более 100 поможет вам лучше понять, какой тест был более успешным”.

Обрезка мертвого веса с помощью тестов A/B

“Прежде чем добавлять какие-либо новые элементы на страницу, электронную почту и т. Д., Попробуйте удалить существующие элементы, чтобы определить, какие из них необходимы, а какие нет”, - объясняет Чачи Флорес из Павлинья аллея.

Это уникальная концепция: удалять элементы в тесте, а не добавлять их.

Но Чачи рекомендует это, потому что это уменьшает мертвый груз и дает вам возможность начать с чистого листа: “Возможно, вы теряете конверсии, потому что и так происходит слишком много запутанных вещей одновременно и отталкивает клиентов. Как только вы разберетесь только с самыми важными частями, вы сможете протестировать новые элементы”.

Не всегда действуй осторожно

Вы не уверены, какие элементы вам следует тестировать?

Эти маркетологи рекомендуют идти против правил и тестировать более крупные элементы, а не перестраховываться.

Джон Холлоуэй из NoExam.com говорит: “Тестировать такие мелочи, как цвет кнопок, весело, но мы стремимся к большим победам. Одним из наших самых успешных тестов было тестирование формы в левой или правой части страницы. Левая сторона опередила правую на 30%".

Герой ТимбилдингаАлекс Робинсон также поддерживает это–и видел аналогичные результаты: “Вместо этого мы научились проверять большие вещи. Теперь мы расставляем приоритеты в таких областях тестирования, как структура страницы, включая (или исключая) целые элементы страницы и ключевые тексты, такие как заголовки и заявления с призывом к действию. Эти усилия привели к устойчивому увеличению конверсии лидов на 300% и более на целевых страницах нашего города, что является одним из примеров нашего успеха в тестах A/B”.

“Изменение в строке темы или размере текста безопасно, потому что вы знаете, что это не даст вам резко отрицательных результатов, но вы также не получите тех значительно положительных результатов, которые вы ищете”, - соглашается ООО "Прайм Паблишинг"это Кристи Киттельсон. “Важно идти на серьезный риск, чтобы пожинать большие плоды”.

Подведение, ДуматьНиколас Страут говорит: “Конечно, вы не хотите быть слишком сумасшедшим или сумасшедшим в своем тесте, но обращение к читателю новым или интересным способом, задавание очень уникального вопроса или использование сногсшибательных, но релевантных изображений в вашем тесте может резко увеличить или увеличить количество кликов, открытий или конверсий”.

Проверьте общепринятую мудрость

Мы все слышали один и тот же совет:

• “Меньшее количество полей формы приводит к большему количеству отправок”
• “Добавление призыва к действию в нижней части страницы увеличивает конверсию”
• “Твиты с использованием изображений повышают вовлеченность”

Конечно, некоторые из этих советов получены в результате индивидуального A/B-тестирования.

Однако Бет Картер из Креативное агентство Clariant, рекомендует проверить эту “общепринятую мудрость” на себе.

Она гов��рит: “Недавно мы протестировали это с клиентом, и мы были удивлены, обнаружив, что, задавая больше вопросов, на самом деле улучшали конверсию форм! Урок здесь в том, что священных коров не существует. Просто потому, что где-то эксперт сказал, что что-то верно, вы не знаете, будет ли это верно для вашей компании, пока не проверите это".

Придерживайтесь тестирования одного элемента за раз

Если вы последуете первому фрагменту совета, которым мы поделились здесь, у вас может остаться список неэффективных показателей, которые вы хотите повысить.

Может быть заманчиво дать полный газ и изменить все сразу. Если это не работает, тебе следует избавиться, верно?

Нет.

“Распространенная ловушка заключается в том, что люди пытаются протестировать слишком много элементов одновременно”, - объясняет Алисия Уорд из Флок. “Если вы меняете слишком много элементов между каждой версией теста, может быть трудно определить, какой элемент(ы) сыграл наибольшую роль в достижении вашей общей цели”.

Она не единственная, кто оттачивает этот совет.

Адриан Крисостомо из SEO-хакер соглашается: “При проведении A/B-тестирования вы никогда не должны спешить и тестировать несколько изменений одновременно, потому что вы никогда не сможете прийти к выводу, что это конкретное изменение было положительным, в то время как на него могли повлиять другие внесенные вами изменения. Тестирование одного небольшого изменения за раз облегчает сравнение и анализ результатов”.

Вместе с Олли Родди из Маркетинговое агентство Catalyst: “Если вы с самого начала будете использовать два совершенно разных стиля, вы будете знать, какой из них превосходит другой, но вы не будете точно знать, почему. Просто изменить одну или две небольшие вещи-отличный способ узнать, что конкретно работает".

Как и делает Lola.comМэтт Десиле: “Если вы усложните свои тесты дополнительными переменными, вы никогда не поймете влияние каждого внесенного вами изменения”.

Но с чего вы начинаете, определяя, какой элемент вы должны тестировать на разделение?

Вот Хакеры РостаДжонатан Ауфрей делится процессом: “Например, если вы хотите протестировать свои целевые страницы. Просто сначала проверьте заголовок. Создайте 2 идентичные целевые страницы, на которых проверяется только заголовок. Это единственный способ собрать соответствующие данные и посмотреть, что работает.

...Включая ваше время

“Если вы остановите свой A/B-тест до того, как он достигнет выделенного вам объема выборки, то у вас может не быть полного представления о том, что сработало лучше”, - объясняет Джеки Тиханьи из Фишер Юнитек.

Разве это не опровергает весь смысл вашего теста A/B? Чтобы узнать, какие элементы дают наилучшие результаты?

Брайан Картер из BCG объясняет, почему вам нужно подумать о сроках проведения тестов: “Вам необходимо устранить любые изменения в поведении вашей целевой аудитории, связанные с временем. Такие вещи, как новости, экономика или другие сезонные проблемы, о которых вы еще не знаете, могут привести к разной производительности, если вы не будете запускать их одновременно”.

Но если вы слишком нетерпеливы, у вас нет времени или бюджета, чтобы ждать результатов, “ограничьте свои тесты самыми посещаемыми страницами, чтобы вы могли быстрее достичь пороговых значений принятия решений”, рекомендует LyntonWebэто Дженнифер Лакс.

Расскажите об этом всей своей команде

К сожалению, некоторые вещи находятся вне вашего контроля.

Но цель A/B-тестирования состоит в том, чтобы “сосредоточиться на тесте и свести к минимуму посторонние факторы, которые могут повлиять на процесс и результаты”, объясняет Минал Упадхьяй из Fit Small Business.

Вот почему он говорит: “Все в компании должны, по крайней мере, знать о тесте A/B, который вы проводите. Это идеальный способ избежать дублирования различ��ых тестов и невозможности считывания прямых результатов конкретного теста”.

...Но если вы тестируете несколько элементов, выполните другие A/B тесты

Стратегии наведения мостов"Джейк Фишер-еще один маркетолог, который соглашается придерживаться одного элемента в каждом тесте.

Однако он добавляет, что “лучше запускать несколько A/B-тестов, если у вас есть несколько переменных для тестирования”.

Например: Если вы хотите проверить размещение, копирование и цвет вашего призыва к действиям, не делайте все это за один раз. Вместо этого запустите три отдельных A/B-теста, чтобы проверить каждый из них, и решите, какое конкретное изменение оказывает наибольшее влияние.

Михал Страхилевиц, из Университет Вуллонгонга, применяет это на практике, например, используя различные изображения и звуковые дорожки в видео. Она говорит: “Если у вас есть четыре версии, это то, что я называю тестированием AB, AC BA BC, где у вас может быть одна и та же музыка с двумя разными визуальными изображениями, а затем каждое из двух визуальных изображений с двумя разными версиями саундтрека. Это поможет вам определить, какая комбинация сайта и звука лучше всего подходит для вашего видео”.

Получите обратную связь вместе с данными

Помните, как ранее мы упоминали, что вы должны просматривать каждый маркетинговый канал, чтобы найти возможности для A/B-тестирования?

“Когда вы разделяете рекламные объявления, такие как объявления Google или объявления Facebook, вы все равно платите за каждый клик”, - объясняет Ким Кохацу из Пикфу.

...Вы можете видеть, как это довольно быстро дорожает.

Тем не менее, Ким рекомендует PickFu как “альтернативный способ тестирования рекламы”. Он работает путем опроса аудитории, просматривающей ваши объявления в Facebook,– метод тестирования, который, по словам Ким, “быстрее, часто дешевле и включает в себя письменные отзывы о том, почему одно объявление одно над другим”.

Примечание. Хотите простой способ отслеживать затраты и конверсии в рекламных кампаниях Facebook? Скачайте этот бесплатный шаблон, чтобы начать работу.

Используйте статистическую значимость для определения “выигрыша”

Знаете ли вы, что более 70% маркетологов утверждают, что их a/b-тесты проходят успешно менее чем в половине случаев? По словам респондентов, менее 30% говорят, что их тесты проходят успешно более чем в половине случаев.

Майк Доннелли из Седьмое чувство говорит: “Абсолютно важно, чтобы у вас были статистически значимые результаты, прежде чем вы сможете претендовать на победу. В противном случае вы полагаетесь на интуицию, а не на фактический факт, который может направить вас в неправильном направлении”.

Оптимально определяет статистическая значимость как “вероятность того, что разница в коэффициентах конверсии между данным изменением и базовым уровнем не обусловлена случайной случайностью”.

Итак, что считается хорошим результатом?

“Я видел, как многие маркетологи прекращали свои тесты A/B с уверенностью 70% или 80%, что не является статистически значимым”, - объясняет Джеймс Поллард из Тренер-консультант. “Я всегда стремлюсь к уверенности на 95%. В редких случаях (когда мне понадобится непомерное количество трафика, чтобы достичь 95%) Я отключил тест на 90%".

Копайте глубже, используя новые и возвращающиеся отчеты о посетителях

Если вы принимаете результаты своих тестов A/B за чистую монету, вы можете увидеть ошеломляющую победу.

...Это потрясающе!

Однако, Восходящий Входящий МаркетингГретхен Эллиотт рекомендует разделить ваши отчеты на новых и возвращающихся посетителей, потому что “возвращающийся посетитель будет знаком с вашим сайтом”.

Она говорит: “Тестирование с новыми посетителями должно дать вам более точную картину того, что работает, а что нет”.