Какой метод такое А/Б эксперимент и для чего оно используется
A/B эксперимент составляет собой способ сравнения двух либо нескольких решений веб-страницы, интерфейса, текста, кнопки, формы, рассылки, промо креатива а также прочего веб блока. Его задача заключается в том этом, для того чтобы выяснить, какая формат лучше показывает себя на практике. Взамен гипотез без проверки и личных мнений используется тест в рамках живой аудитории, где контрольная доля просматривает версию A, тогда как вторая — формат B.
Такой принцип позволяет принимать действия по базе данных, вместо этого не на индивидуальных предпочтений а также нерегулярных выводов. Внутри обзорных материалах, в том числе 1вин, нередко указывается, что А/Б тестирование наиболее полезно в тех случаях, при которых малые правки способны влиять в отношении поведение аудитории: клики, оформления профилей, заполнение форм, глубину изучения, удержание, транзакции, подписки либо прочие нужные действия. Эксперимент дает возможность проверить, на самом деле ли конкретно корректировка повышает 1win результат.
Как работает сплит тестирование
Логика сплит проверки достаточно прост. Вначале определяется элемент, который нужно проверить. Таким элементом способен быть headline, цвет CTA-элемента, расположение секций, текст уведомления, логика поля ввода, картинка, тариф, формат условия либо позиция целевого элемента. Затем создаются как минимум два версии: первоначальный а также тестовый. Вслед за этим посещения делится по ними на основе заранее заданным условиям.
Первая доля пользователей продолжает получать первоначальную вариацию, а вторая видит измененную. Инструмент фиксирует данные про реакциях любой группы затем сопоставляет метрики. В случае если версия B показывает лучший показатель при достаточном количестве сведений, такой вариант допустимо внедрять. Если разницы не видно а также обновленная вариация работает хуже, правка убирается. В таком подходе и проявляется практическая значимость теста: такой метод дает возможность оценивать гипотезы до момента массового 1вин релиза.
Зачем необходимо A/B эксперимент
А/Б эксперимент необходимо с целью сокращения сомнений. Внутри веб платформах включая незначительная деталь может воздействовать на понимание интерфейса. Один заголовок может быть понятнее иного, краткая заявка способна проходиться регулярнее расширенной, а заметно более видимая кнопка способна усилить объем нажатий. Если не использовать тестирования подобные результаты обычно выглядят догадками.
Подход дает возможность развивать платформу поэтапно. Без необходимости масштабной переделки полного сайта либо сервиса получается проверять отдельные блоки и фиксировать фактический результат. Такой подход снижает вероятность ошибочных правок, сберегает затраты а также помогает собирать знания про поведении посетителей. Через временем команда 1 win получает не совокупность мнений, вместо этого базу валидированных решений.
Какие именно элементы можно тестировать
Сравнивать получается почти разный объект, какой воздействует на действия посетителя. Как правило в большинстве случаев оценивают headline-блоки, подзаголовки, призывы к переходу, тексты кнопок, анкеты регистрации, расположение секций, изображения, блоки позиций, очередность шагов, сортировки, навигацию, визуальные блоки, уведомления, рассылки а также рекламные материалы. Необходимо, для того чтобы выбранный объект оставался соотнесен с конкретной заданной метрикой.
Когда цель проявляется в необходимости увеличении отправленных форм, правильно сравнивать анкету, текст около этого блока, количество полей плюс видимость кнопки. Когда нужно повысить объем изучения, следует оценивать навигацию, блоки предложений, внутрисайтовые линки и логику материала. Если прямее зависимость 1win среди правкой плюс задачей, тем полезнее результат проверки.
Гипотеза в качестве база эксперимента
Каждый хороший А/Б эксперимент запускается с проверяемой идеи. Проверяемая идея формулирует, какого типа изменение предлагается, по какой причине это изменение способно сказаться на показатель а также какой результат может поменяться. К примеру, допустимо предположить, будто уменьшение анкеты регистрации снизит число уходов, поскольку что пользователю нужно будет меньше усилий ради завершения процесса.
Корректная проверяемая идея не обязана должна быть очень широкой. Формулировка вроде «сделать страницу удобнее» не помогает зафиксировать показатель. Гораздо более точный вариант: «при условии что поменять растянутый надпись элемента действия на более краткий плюс понятный, число нажатий увеличится, так как что действие станет очевиднее». Эта формулировка сразу 1вин указывает предмет эксперимента, причину а также метрику.
Контрольная и измененная аудитории
На уровне сплит тестировании контрольная аудитория просматривает исходный версию, тогда как экспериментальная — измененный. Это разделение необходимо ради честного сравнения. В случае если без контроля поменять раздел а также сопоставить результаты до изменения плюс после, результат способен стать неточным из-за сезонности, промо кампании, смены источников посещений, информационного фона, технических сбоев либо иных сторонних факторов.
Параллельный показ разных версий снижает роль внешних факторов. Обе группы находятся на уровне близкой среде: единый а также тот же период, одинаковые идентичные источники посещений, близкие устройства и единый фон. Поэтому отличие по показателях с большей 1 win большей степенью вероятности соотносится как раз с конкретным корректировкой, и не не с сторонними обстоятельствами.
Какие показатели задействуются при А/Б тестах
Критерий — представляет собой показатель, на основе которого измеряется результат проверки. Выбор показателя определяется на основе цели эксперимента. Ради лендинга с заявкой значимы отправки заявок, для онлайн-магазина — сохранения внутрь покупку и покупки, ради медиаресурса — длина чтения и длительность чтения, для аппа — оформления профилей, запуски, удержание плюс дальнейшие 1win активности.
Важно разграничивать ключевую и вспомогательные метрики. Ключевая отражает, ради какого результата делается эксперимент. Вспомогательные позволяют оценить побочные результаты. К примеру, обновление CTA способно увеличить переходы, но ухудшить результативность следующих шагов. Из-за этого разумно смотреть не лишь по первый этап, но еще по последующее действие: выполнение анкеты, повторные визиты, выходы, проблемы а также общую ценность действия.
Расчетная достоверность
Расчетная существенность отражает, в какой степени вероятно, что полученная отличие в паре решениями не является оказывается случайным колебанием. В случае если первый вариант немного опережает другой после ряда десятков посещений, такой результат все еще не подтверждает доказывает преимущество. В условиях небольшом объеме данных результат способен оперативно поменяться, когда 1вин выборка будет шире.
Для достоверного итога нужно достаточное объем событий. Если скромнее ожидаемая дельта среди вариантами, тем самым больше наблюдений необходимо собрать. Если корректировка обязано улучшить результат лишь примерно на малое число процентов, проверке потребуется повышенный объем длительности плюс пользователей. Расчетная существенность позволяет избегать выносить поспешные решения с опорой на основе нестабильных скачков.
Масштаб выборки плюс длительность эксперимента
Масштаб группы воздействует на точность вывода. Когда тест видит чрезмерно ограниченный объем пользователей, выводы имеют шанс быть ненадежными. К примеру, малое число дополнительных переходов у конкретной группе имеют шанс выглядеть в виде увеличение, при этом при большем объеме окажутся простой колебанием. Следовательно до начала разумно понимать, сколько посетителей 1 win или действий нужно для оценки гипотезы.
Продолжительность эксперимента тоже имеет значение. Чрезмерно короткий период проверки способен не учитывать учитывать расхождения между обычными плюс выходными периодами, дневной по времени и послерабочей реакцией, разными источниками посещений. Как правило проверка должен включать завершенный период активности пользователей. При этом очень продолжительный тест также нежелателен, в случае если внешние условия начинают ощутимо сдвинуться.
По какой причине не стоит корректировать тест во время запуска
Одна из из типичных ошибок — делать изменения в эксперимент после старта. Когда в центре теста изменить текст, аудиторию, дизайн, параметры демонстрации или цель, показатели смешаются. Тогда будет сложно выяснить, какое изменение именно повлияло на результат. Тест снизит чистоту, при этом выводы будут спорными 1win.
До момента начала следует определить предположение, форматы, метрики, деление пользователей и параметры остановки. После запуска желательно не стоит корректировать тест при отсутствии важной необходимости. Когда обнаружена проблема в настройке а также системный проблема, лучше закрыть эксперимент, исправить ошибку затем начать другой эксперимент, нежели стараться интерпретировать смешанные наблюдения.
Параллельное сравнение нескольких изменений
Иногда появляется желание протестировать сразу ряд правок: новый headline, альтернативную кнопку, укороченную заявку а также перестроенный порядок блоков. Этот метод может дать общий результат, но не покажет, какого типа именно фактор повлиял на показатель. В случае если новая страница оказалась лучше, останется неочевидно, что повлияло лучше прочего.
Для чистой проверки чаще всего меняют единственный существенный элемент за 1вин раз. В случае если требуется сопоставить многие сочетаний, используется многофакторное тестирование. Такой метод труднее, требует значительного числа пользователей а также корректной расшифровки. Для большинства целей А/Б проверка с одной единственной точной проверкой дает более корректный а также практичный эффект.
Примеры сплит тестирования на уровне UI
На уровне дизайнах сплит проверка регулярно задействуется ради оптимизации ясности шагов. Например, получается сравнить несколько форматы формы: расширенную с полным набором строк а также упрощенную с минимальным сокращенным набором полей. Когда короткая анкета усиливает количество завершенных созданий аккаунтов без одновременного снижения ценности форм, такую форму получается считать более удачной.
Следующий сценарий — сравнение надписи кнопки. Сдержанная надпись способна быть менее понятной, относительно прямое объяснение действия. Также сравнивают позицию элементов действия, очередность информационных разделов, оформление 1 win пояснений, использование прогресс-бара, формат отображения предупреждений плюс число действий на протяжении процессе. Отдельный этот элемент сказывается в отношении то, насколько просто завершить заданное событие.
сплит проверка внутри материалах
В содержании проверка дает возможность выяснить, какие именно названия, анонсы, схемы и форматы сильнее привлекают интерес. Получается проверять несколько вступления, объем контента, последовательность объяснений, присутствие перечней, дизайн блоков, подачу плюсов либо формат подачи сложной задачи. Вместе с этом сценарии важно оценивать не только лишь переходы, а также и дальнейшее действие.
Заголовок имеет шанс усилить число нажатий, при этом когда контент не соответствует интересам, увеличится доля уходов. Следовательно контентные тесты должны учитывать качество контакта: длительность изучения, глубину страницы, переходы на уровне платформы, возвращения и завершение целевых событий. Хороший результат — является не просто лишь получение внимания, вместо этого совпадение ожидания а также содержания.
сплит тестирование внутри email-рассылках
На уровне email-рассылках обычно проверяют темы писем, подпись отправителя, первые предложения, период доставки, объем письма, расположение CTA-элементов плюс описания условий. Часть аудитории видит контрольную версию письма, другая часть — тестовую. После этим сравниваются просмотры, клики, unsubscribes, жалобы и следующие события на ресурсе.
Необходимо не стоит сводить анализ показателем открытий. Тема письма имеет шанс быть яркой а также захватывать интерес, при этом когда тема не сможет отвечает наполнению, нажатия и лояльность могут уменьшиться. Из-за этого корректный почтовый эксперимент измеряет полную цепочку: open-событие, нажатие, активность после клика плюс отклик аудитории по отношению к сообщение.