КУРС МАРКИРОВКА РЕКЛАМЫ В ИНТЕРНЕТЕ
блог маркетинг
25 августа 2016 г.

4 самых важных момента в организации А/В тестирования

Расскажем об основных моментах, которые нужно помнить, и которые не связаны в организации А/В тестирования
Мы уже писали ранее про идеологию А/В тестирования и про технологическую реализацию. Сегодня расскажем об основных моментах, которые нужно помнить, и которые не связаны с технологией.
Одинаковая аудитория

Варианты надо показывать как можно более одинаковой аудитории. Целью А/В тестирования является выявить наиболее выигрышный вариант, поэтому проверять варианты надо на похожих людях, уж как минимум — в одинаковом рекламном канале. А если у вас стоит таргетинг по социально-демографическим показателям — то и они должны быть одинаковые.

Показать одну рекламу в поиске Google c таргетингом на всю Россию и получить CTR 2% и показать другую рекламу в Facebook с таргетингом Москва, 25 лет, должность «Директор», получить CTR 0,5% и объявить первый вариант выигрышным — это неправильно.

Большая аудитория для тестирования

Рамки нашей статьи не позволят нам рассказать про все эти детали из теории вероятности и матстатистики. Если включить обычную человеческую логику, вы сами догадаетесь, что показать одинаковую рекламу 10 людям, по 5 на каждый вариант, где на первый кликнул 1 человек, а на второй 2 человека — это недостаточная статистическая значимость. Ничего себе — 1 клик сразу дает изменение результата на 20% в плюс или минус!

И точно также вы наверняка сами больше будете доверять результатам, полученным на тысячах людей. Можно ошибиться на маленьком количестве, но если среди 1000 людей, на один из вариантов кликают в 2 раза чаще, чем на другой — это уже дает какое-то доверие.

Длительность тестов должна быть хотя бы 1 неделю длиной

Это совершенно обычное дело, когда конверсии, кликабельность и так далее отличаются по дням недели. Почему? Да потому что жизнь людей также циклична. И то, что кажется милой шуткой в пятницу, отторгает в понедельник.

Поэтому не надо принимать решения только на основании теста, скажем, во вторник, даже если там и были тысячи посетителей.

Наличие гипотезы

Тестировать можно «все на свете», но жизни не хватит, чтобы это проделать. Тестировать можно основное предложение, заголовок на сайте, расположение блоков на карточке товара, различные слова и куски текста на посадочной странице, используемые картинки, цвет кнопки «заказать"и так далее и так далее. При этом, есть одно «но!» Тестирование занимает время, тестирование стоит денег — в том смысле, что тот трафик, который вы привлекаете на страницу, как правило не бывает бесплатным. То время, которое вы или ваш вебмастер тратить на создание очередного теста — не бывает бесплатным.

Если подходить к тестированию, не имея никакой гипотезы, вы рискуете протестировать много бесполезных идей.

В такие моменты, когда вы решаете, что вы хотите проверить, лучше немного «остановиться» и задуматься. Просто задайте себе вопрос — какую вы собираетесь тестировать гипотезу. Гипотеза должна звучать примерно так — «предложение 1 недели бесплатно, должно давать больше конверсии для посетителей моего сайта, чем предложение скидки на 10% при условии заказа сейчас, для приходящих с (тут добавить канал, откуда приходят) и являющихся (тут описать социально-демографические характеристики)».

Задумайтесь — это с точки зрения обычной логики кажется нормальной, вполне вероятной гипотезой? Вы действительно верите в это? Есть ли какое-то другое изменение, которое еще более вероятно даст изменение конверсии в положительную сторону?

Такое обдумывание гипотез позволит избежать ситуации, когда предложение просто неинтересно посететилям, а вы тестируете цвет конверсионной кнопки.

Подводя итог, хотим подчеркнуть, что данные правила работают для любого А/В тестирования, будь это рекламное объявление или посадочная страница.


Show more