Еще одна ловушка в конверсии страниц (не попадитесь!)

Добрый день, коллега.

Сегодня хочу поделиться с вами промежуточными результатами сплит-теста, который покажет еще одну ловушку, связанную с конверсией.

Вы уже заметили, что конверсия — одна из тем, вызывающих у меня повышенный интерес. Неудивительно — это понятие, вокруг которого ну очень много спекуляций:

— одни не понимают ее сложности, другие делают вид, что не понимают

— первые считают конверсию показателем крутизны, вторые — демонстрируют как показатель своей крутизны, что в корне неверно при работе только с текстом или только с дизайном (тем более)

— при этом спорить с большинством из них просто бесполезно (насколько въелся в головы этот штамп) — но иногда приходится, несмотря на бесполезность

И, несмотря на неприятие такого подхода, даже мне иногда приходится называть конверсию — люди этому верят и требуют :).

Конверсия с гарантией

В свое время ко мне обратился странный парень, который предложил поднять ему конверсию подписной с гарантией. Мол, обеспечь-ка мне конверсию 7% вместо 5%, а не обеспечишь, я ничего не плачу.

При этом речь шла только о тексте. А мы-то с вами знаем, что если можно как-то управлять конверсией, то только в совокупности средств: текст, дизайн, маркетинг (цена, формат действия конверсии) и Его Величество Трафик.

Когда я стал ему говорить об этих тонкостях, он стал препираться — «хороший автор может это гарантировать».

Но при этом он же рассказал, что периодически конверсия у него плавает (он гнал большой трафик из тизерных сетей). А потом поведал и совсем интересный пример.

Оказалось, что он сплит-тестировал два варианта подписной. И в зависимости от трафика, то один вариант показывал конверсию больше, то второй!

Это очень важный момент, и специалисты по тестированию это знают. В книге Тима Эша «Оптимизация целевых страниц» говорится, что →

 

Условия эксперимента не должны меняться

То есть, на время тестирования не должны меняться трафик, цена и другие моменты.

А если изменения и происходят, нужно как-то выделить влияние этих переменных (а возможно, и исключить меняющийся трафик из эксперемента).

При этом эксперимент всё равно не даст 100% достоверности!

Вот вам и факты. Вы до сих пор верите в неизменную конверсию, которая зависит исключительно от текста? 🙂

Неудивительно, что если трафик меняется по сути (или меняется его поведение, что тоже бывает часто — даже на неизменном трафике), то и конверсия будет плавать.

Например, в зависимости от рассылки, в которой я рекламируюсь, подписная может давать 25, 35, 50, а то и 60% конверсии. Это зависит, хотя и в меньшей степени, от выбора ключевых фраз и пропорции мест размещения (поиск или реклама на сайтах) в Яндекс.Директе.

И сплит-тест здесь отнюдь не панацея, хотя он намного эффективнее и точнее последовательного тестирования (когда сначала один вариант, затем и другой и т.п.).

Это показал пример заказчика. И в этом убедился я сам.

 

Пример настройки сплит-теста

В последнее время я активно тестирую разные варианты подписной страницы. И раньше я допускал одну и ту же ошибку: тестировал два варианта подписной на ВСЁМ трафике.

Это, конечно же, неправильно, потому что в директе традиционно конверсия моей подписной около 10% , а в рекламе в рассылках, как вы уже поняли, — от 25 до 60%. Всё равно что мешать бензин и керосин.

Затем я разделил потоки посетителей (контекст и другие источники). И предпоследний, короткий тест провел только на подписной для рассылок и партнеров.

Этот тест дал отличный результат, — новая версия страницы показала рост конверсии с 15 до 35%! Очень довольный, я выложил  тот же вариант на страницу для контекстного трафика — и не увидел почти никаких подвижек (как было около 10%, так и осталось).

Поэтому новый тест я решил провести раздельно. Два варианта для контекста и два — для другого трафика. Варианты, естественно, одни и те же — я тестировал версии подписной с видео и без.

(Это, кстати, еще не очень тонкий вариант. В идеале нужно делать десяток версий подписной, но рутина еще та :).)

Промежуточный результат меня удивил — я попал в ту же самую ситуацию, что и мой несостоявшийся заказчик.

 

Результат тестирования: победителей нет

Вот эксперимент по неконтекстному трафику:

Как видите, лидирует версия с видео, но с очень незначительным отрывом (около 5% при сравнении), который еще и снижается.

Этот результат можно считать более-менее состоявшимся: набрано более 200 действий конверсии (то есть, подписок) на каждый вариант (рекомендуется не менее 100). Тем не менее победитель не определен и, учитывая малый отрыв, эксперимент может затянуться на месяцы (и скорее всего, через неделю я его отключу).

 

А вот сравнение тех же подписных на контекстном трафике:

Как видите, вариант с видео проигрывает, причем ощутимо (19%)! И проигрывал на протяжении всего времени проверки данных.

Кстати, обратите внимание, насколько меньше здесь конверсия. Из-за этого на почти таком же трафике действий конверсии в 4 раза меньше — всего по 50 на вариант.

Поэтому считать этот эксперимент состоявшимся еще нельзя — для достоверности придется еще покрутить хотя бы до 100.

Кроме того, я совершил ошибку, не сделав перепроверку через статистику Smartresponder (Google Analytics может не учитывать все результаты).

Тем не менее вы можете рассматривать этот пример как иллюстрацию варианта, при котором на разном трафике лучше работает то одна, то другая версия страницы.

Кстати, мой знакомый инфобизнесмен получил такие же результаты в точно таком же эксперименте.

Но, впрочем, нельзя автоматически переносить результаты этого теста на другие случаи — то есть, нельзя на 100% считать, что видео работает именно так. Почему?

1. Эксперимент завершен не до конца.

2. Трафик недостаточно сегментирован, особенно в варианте не для контекста.

3. Видео у всех разное — именно это работает так, иное может работать по-другому.

4. Могут быть технические заморочки (например, видео медленно подгружается) и т.п.

 

И в этом большая проблема

Говорить о 100% закономерностях нельзя, даже когда собрана фундаментальная статистика. А уж тем более — если это одиночные эксперименты.

И если у одного автора мы видим результаты тестирования, где переменная имени в письме или Заголовки Американского Типа в одностраничнике работают лучше, то у другого — наоборот.

Но тестирование несет определенные сложности и растянуто во времени. Чтобы проверить ВСЁ, надо жить 200 лет :).

Особенно это относится вариантов продающих страниц, где действием конверсии выступает непосредственно продажа. Конверсия здесь меньше, и результаты надо собирать ну очень долго.

Из-за этого тестированием таких страниц занимаются немногие.

 

Кстати, коллега, поделиться с вами окончательными результатами этого теста?

Ваш тренер Трубадур

P.S. Повторно обращаюсь к владельцам лендингов. Если вы заинтересованы в том, чтобы БЕСПЛАТНО поднять их конверсию, напишите мне на rostprodazh собака web-copywring.ru.

Речь идет именно о лендингах аля БМ (дизайнерских) для товаров и услуг (не инфопродуктов). Если вы не знаете, что это за лендинги, не присылайте мне подписные и тем более блоги :).

Возьму далеко не всех и на определенных условиях (своя статистика, свобода в тестировании).