Методы проверки гипотез кратко
Обновлено: 05.07.2024
В процессе оптимизации лендинг пейдж для получения максимального числа потенциальных клиентов и конверсий вам может встретиться такое словосочетание, как тестирование гипотез.
На первый взгляд может показаться, что это нечто сложное, подвластное только серьезным ученым, но на деле и рядовые маркетологи, стремящиеся улучшить результаты, все чаще обращаются к научным методам: это помогает им выжать максимум из своих кампаний.
Наука и маркетинг в наши дни образовали высокоэффективный союз, и вы легко сможете пожать плоды этого симбиоза.
Ниже — подробное руководство по тому, как с помощью тестирования гипотез повысить результаты ваших маркетинговых кампаний.
Содержание статьи
Что такое тестирование гипотез?
Тестирование гипотез — это процесс наблюдения и формирования предположений на основе той информации, которую вам удалось собрать, а затем попытки найти им подтверждение с помощью научного метода.
Прелесть этого метода заключается в том, что он не требует спешки, а каждая стадия исследования протоколируется; ваша гипотеза постепенно меняет свою форму, и все это продолжается до тех пор, пока вы не получите удовлетворяющий вас вывод.
Хотя метод тестирования гипотез и научный подход в маркетинге практиковали и раньше, перед маркетологами прошлых десятилетий вы имеете явное преимущество: в вашем распоряжении имеется множество инструментов, которые вы можете использовать для проведения тестирования и сбора данных, которые и помогут вам доказать (или опровергнуть) те или иные гипотезы.
Под таким ракурсом маркетинг может оказаться гораздо ближе к науке, чем вы привыкли думать. Ваша работа состоит в том, чтобы задавать правильные вопросы, формулировать теории, а затем разрабатывать соответствующие тесты, чтобы эти теории доказывать.
Главным результатом деятельности, конечно, станет посадочная страница, которая будет резонировать с потребностями аудитории. Она будет привлекать потенциальных клиентов и стимулировать конверсии, одновременно увеличивая доходы и рентабельность ваших инвестиций.
Звучит потрясающе, не правда ли?
Перейдем к следующему разделу, в котором процесс формирования гипотез для ваших кампаний будет разобран более детально.
Что является гипотезой, а что — нет
Гипотеза — это не более чем предположение, проверка которого и становится вашей главной задачей.
При этом предположение может служить гипотезой только в том случае, если оно доказуемо сбором конкретного типа данных.
Другими словами, ваши гипотезы должны быть конкретными, четкими.
Однако по мере последовательного проведения тестирования гипотез вам придется постоянно изменять их, манипулировать ими, пока вы не придете к обоснованным и подкрепленным доказательствами выводам.
Чтобы уметь формулировать корректные гипотезы, вы должны быть готовы погрузиться в детали.
Вот отличный пример.
Допустим, у вас есть десять лендингов на платформе LPgenerator. Два из них весьма успешны. Они привлекли значительный трафик, получили много конверсий и даже были процитированы на некоторых социальных площадках.
Очевидно, что вам нужно свести к формату этих лендингов все свои остальные посадочные страницы, чтобы сделать их столь же успешными.
Вы отмечаете, что успешные лендинги содержат крупные изображения, а текст на них разбит на короткие абзацы.
После можно выполнить ряд тестов для оценки точности гипотезы. Удалось ли с помощью крупных изображений и более коротких абзацев привлечь больше трафика? Увеличилось ли число конверсий?
В этом и заключается смысл тестирования гипотез.
Проверка гипотез при помощи A/B- и мультивариантного тестирования
Возможно, вы уже знаете о таких популярных методах, как A/B- и мультивариантное тестирование — пора найти им применение в деле тестирования ваших гипотез.
Используя разные инструменты, вы можете подвергнуть бесчисленному количеству тестов любые элементы своих кампаний и проверить каждую из своих гипотез.
К примеру, если вы запустили ремаркетинговую кампанию, то можете задаться вопросом, а достаточно ли хорошо подходят друг другу использованные в рекламе изображение и текст и резонируют ли они с конкретным сегментом аудитории. При помощи сплит- и мультивариантных тестов вы сможете запросто определить, какой из разработанных вами вариантов больше трафика привлекает и конвертирует.
Другие примеры тестирования гипотез
Ситуация: две посадочные страницы конвертируют хорошо, а одна — нет.
Гипотеза: на этом лендинге заголовок имеет вид вопроса. Может ли его изменение на утвердительное заявление повысить значения целевых показателей?
Ситуация: открываемость ваших электронных писем резко упала.
Гипотеза: возможно, это связано с использованным вами недавно новым шаблоном писем. Удастся ли вернуться к прежним значениям открываемости писем, если изменить шаблон или вовсе отказаться от них, использовав обычный текст?
Ситуация: в текущий момент ваш сайт испытывает небывалый всплеск показателя отказов.
Гипотеза: поможет изменение цвета сайта на более успокаивающий удерживать людей на ресурсе дольше?
Изображения могут быть слишком маленькими, а заголовки привлекать внимание слишком узкого сегмента аудитории. При помощи мультивариантного теста вы можете тестировать все эти элементы столько раз, пока не найдете наиболее удачную комбинацию.
Нулевая и альтернативная гипотезы
Нулевая гипотеза — принимаемое по умолчанию предположение о том, что между двумя наблюдаемыми событиями связи не существует.
Например, если вы увеличиваете размеры изображений трех лендингов, надеясь привлечь такой же объем трафика, каким располагают две других страницы с большими изображениями, ваша нулевая гипотеза может заключаться в том, что между размером изображений и объемом привлекаемого трафика нет никакой зависимости.
Иными словами, ваша альтернативная гипотеза заключается в том, что трафик будет расти за счет увеличения изображений, а нулевая гипотеза — в том, что размер изображения на самом деле не имеет значения. Это не тот результат, на который вы надеетесь, но так вы лучше понимаете, что именно вы пытаетесь опровергнуть.
Альтернативная гипотеза обычно противоположна нулевой гипотезе. И ваша задача — опровергнуть нулевую гипотезу. В примере, который был использован выше, альтернативная гипотеза заключается в том, что простое увеличение размера изображений на трех лендингах поможет привлечь больше трафика.
Как извлечь пользу из тестирования гипотез
Шаг 1: решите, что будете тестировать
На этом этапе вы должны выбрать те элементы, производительность которых хотите улучшить. Хотите ли вы решить проблему низкой читаемости некоторых постов? Увеличить открываемость ваших электронных посланий? Может быть, вы просто хотите больше конверсий на своем лендинге?
Шаг 2: сформулируйте гипотезу
В этом и заключается смысл всего мероприятия. Предположение, которое вы будете стремиться доказать при помощи сбора необходимых данных.
Если посадочная страница не конвертирует должным образом, вы можете предположить, что текст на ней недостаточно убедителен. Если ваши письма мало кто открывает и читает, вы можете предположить, что в этом повинен шаблон письма или используемый вами заголовок. Эти предположения в итоге и станут фундаментом тех экспериментов, которыми впоследствии вам предстоит заниматься.
Шаг 3: определите переменные
Будете ли вы проводить A/B- или мультивариантные тесты (или прибегните к другим видам тестирования гипотез), определите, какие изменения вы хотите внести, а затем протестируйте их на своей аудитории.
Вы можете решить изменить заголовок, собрать данные и провести их анализ. Либо можете изменить заголовок, hero-изображение и даже цвет на CTA-кнопке, но тогда ваше тестирование будет носить название мультивариантного.
Шаг 4: проведите тест гипотез
Итак, в вашем распоряжении имеются исходная гипотеза, альтернативная и нулевая. Можете приступать к экспериментам.
Шаг 5: проведите анализ результатов и наметьте план действий
Самое сложное — это не затягивать тесты и не завершать их слишком рано. Вы должны успеть собрать репрезентативный объем данных, который позволит вам сделать объективный вывод.
Не позволяйте своим эмоциям и предубеждениям влиять на оценку эксперимента. Если гипотеза доказана, у вас на руках будут неопровержимые доказательства того, что внесенные вами изменения пришлись к месту.
Если была доказана нулевая гипотеза, вернитесь на несколько шагов и найдите другие переменные. Вы должны проводить тесты до тех пор, пока не найдете идеальное сочетание элементов, которое больше всего нравится вашей аудитории.
Несколько вопросов о тестировании гипотез
В идеале, продолжительность теста должна быть не менее 7 дней. Например, вы можете собирать данные с понедельника по воскресенье, а потом провести анализ. Конечно, тест можно проводить и более длительное время, но и за неделю вам удастся собрать достаточно материала для работы.
- Следует ли один и тот же тест проводить более одного раза, чтобы быть еще более уверенным в полученных результатах?
На самом деле, если вы сомневаетесь в чистоте эксперимента, не стесняйтесь провести его еще раз. Тестирование гипотез — не разовое мероприятие. Это непрерывный процесс, отдельные эксперименты которого могут быть проведены заново, в разное время и на разных каналах.
И не забывайте: статистическая значимость теста должна быть не менее 95%.
- Какие переменные необходимо подвергнуть тесту?
Если что-то можно протестировать, вы должны это протестировать. Посетители лендинга могут конвертироваться благодаря удачным заголовкам, убедительному тексту, крупным и профессиональным изображениям, удобству навигации и многим другим факторам. Ваша задача — быть настолько любознательным, насколько это возможно, и задавать как можно больше вопросов, чтобы обеспечить тесты необходимым фундаментом.
По прошествии определенного срока после запуска теста, проанализируйте данные и выберите, какой из вариантов приносит лучший результат.
Заключение
Любой элемент вашего лендинга или другого маркетингового актива улучшить, а тестирование гипотез — это лишь научный способ это сделать.
Не переставайте задавать вопросы и формулировать все новые и новые гипотезы — это придаст вашему тестированию систематический характер и сделает его наукообразным.
Независимо от того, что вы хотите увеличить — объем трафика, число конверсий или доход — тестирование гипотез должно стать неотъемлемым инструментом вашего маркетингового арсенала.
В современном мире мы обладаем все большим и большим объемом данных о событиях, происходящих вокруг. Зачастую у нас появляются вопросы, на которые хотелось бы быстро ответить на основе имеющейся информации, для этого как нельзя лучше подходит процесс, связанный с проверкой статистических гипотез. Однако, многие считают, что это занятие подразумевает под собой большое число вычислений и в принципе довольно сложно для понимания. На самом деле, алгоритм проверки гипотез достаточно прост, а для осуществления расчетов с каждым годом появляется все больше и больше готовых инструментальных средств, не требующих от человека глубоких познаний в области. Далее я попытаюсь показать, что мало того, что процесс проверки гипотез может быть полезным, так и осуществляется достаточно быстро и без серьезных усилий.
Статистические гипотезы и области их применения
Статистическая гипотеза - это предположение о каких-либо характеристиках случайной величины. Например: существенно ли изменение числа AI-стартапов в Европе в два разных года и т. д.
Проверка статистических гипотез является важнейшим классом задач математической статистики. С помощью данного инструмента можно подтвердить или отвергнуть предположение о свойствах случайной величины путем применения методов статистического анализа для элементов выборки. Если в предыдущем предложении какие-либо термины являются не совсем понятными, ниже можно найти пояснение на простом языке.
Случайная величина - это величина, которая в зависимости от той или иной ситуации принимает конкретные значения с определенными вероятностями. Примеры: отметка на экзамене; результат игры в кости; количество AI-стартапов по странам Европы. В общем, почти все что угодно!
Генеральная совокупность - совокупность всех объектов для анализа. Например: все AI-стартапы в Европе в 2019-м году.
Статистический анализ - использование различных методов для того, чтобы определить свойства генеральной совокупности по выборке.
Для проверки статистических гипотез зачастую применяются статистические тесты, о которых будет рассказано далее.
Алгоритм проверки статистической гипотезы
В обобщенном виде алгоритм выглядит таким образом:
Формулировка основной (H0) и альтернативной (H1) гипотез
Выбор уровня значимости
Выбор статистического критерия
Определения правила принятия решения
Итоговое принятие решения на основе исходной выборки данных
Данные шаги являются унифицированными и схему можно использовать почти во всех случаях. Далее подробнее рассмотрим пример работы данного алгоритма на конкретных данных.
Пример проверки статистической гипотезы
Итак, как вы, наверное, догадались по вышеприведенным примерам, будем проверять гипотезу о том, что имеется существенное различие между числом созданных европейских AI-стартапов в 2019-м и 2020-м годах. Пример достаточно простой, чтобы было проще разобраться в ходе работы алгоритма.
Рисунок 1 - исходные данные
Сразу стоит отметить, что будут проверены две статистические гипотезы подряд. Для того, чтобы применять критерий для сравнения средних выборок двух лет нужно сначала определить закон распределения данных. Таким образом, шаг 1 - проверка статистической гипотезы о законе распределения данных. Шаг 2 - проверка статистической гипотезы о равенстве между средними.
Проверка гипотезы о законе распределения
Для данных 2019-го года проверим нормальность распределения.
H0: случайная величина распределена нормально
H1: случайная величина не распределена нормально
Пусть уровень значимости alpha = 0.05 (как и в 95-ти процентах статистических тестов). Определение уровня значимости достойно отдельного поста, так что не будем заострять на нем внимание.
Будет использован критерий Шапиро-Уилка.
На этом шаге необходимо разобраться, как работает критерий. В данном случае рассчитывается следующая статистика - функция от нашей выборки:
Итак, калькулятор показал нам, что p-value = 1.20005e-9 , W = 0.435974; Что же делать дальше? Есть два варианта:
Можно сравнить статистику W с критическим значением Wкрит. Критическое значение чаще всего приведено в готовых таблицах (по строкам/столбцам там отмечен объем выборки и уровень значимости, а на пересечении как раз-таки и лежит Wкрит.). Если W>Wкрит., то не отвергаем H0 и наоборот. Но это не очень удобно, поэтому чаще используется второй способ.
Можно сравнить p-value с alpha (выбран на 2-ом шаге). Если p-value Рисунок 2 - пример расчета критерия Вилкоксона
Разнообразие статистических критериев
Как мы увидели на примере, важным шагом в проверке статистической гипотезы является выбор критерия. В примере выше я использовала лишь два статистических критерия, но по факту их гораздо больше, так сказать, на все случаи жизни. Данные критерии важно знать и четко нужно осознавать, когда и какой можно применить. Многие из них направлены на сравнение центров распределений случайных величин, например, сравнение средних, медиан, равенство параметра распределения какому-либо числу и т. д. В основном они делятся на параметрические (знаем закон распределения случайной величины) и непараметрические.
Для вашего удобства внизу (рис. 3) приведена таблица с основными, с моей точки зрения, критериями сравнения центров распределения и их классификацией. Надеюсь, она будет вам полезна, ее можно дополнять и расширять по вашему желанию.
Рисунок 3 - классификация статистических критериев
При написании любых научных работ перед исследователем встает задача постановки гипотезы. Это отправная точка, определяющая содержание и результаты, которые будут получены в ходе проведенного исследования.
Гипотеза лежит в основе любой научной теории, она позволяет ученому начать поиск, собрать и проанализировать факты, чтобы обоснованно подтвердить или опровергнуть выдвинутое предположение. Именно поэтому гипотезе уделяется такое пристальное внимание.
Это один из самых распространенных приемов научной и другой познавательной деятельности, позволяющий найти логическое объяснение природы происхождения каких-либо явлений. Различают общие (для группы явлений) и частные (для конкретных событий) гипотезы, а также предсказательные и объяснительные.
Чтобы корректно сформулировать гипотезу любого исследования необходимо соблюсти принципы логического построения научного знания:
- Состоятельность выдвигаемой гипотезы. Делая те или иные выдвижения предположения или догадок, ученый обязательно должен как можно полнее раскрыть предметную область исследования.
- Приложимость создаваемого знания. Все гипотезы строятся не для пояснения отдельных, конкретных случаев, но для возможности объяснения более широкого круга природных, социальных или теоретических феноменов.
- Проверяемость. Чтобы выдвинуть гипотезу, важно понимать и владеть инструментами ее верификации.
Требования, предъявляемые к гипотезе:
- совместимость с существующими знаниями, фундаментальными научными положениями, ранее установленными фактами;
- понятность и логичность, отсутствие двоякого толкования;
- обоснованность (релевантность), то есть проверенная анализом состоятельность выдвинутой теории;
- она должна быть проверяемой (наблюдением, измерительными приборами, экспериментальными установками и другими достоверными доступными средствами).
Стандартная структура гипотезы состоит из двух частей: эмпирического основания (посылки) и основанного на нем предположения (заключения). Ее выдвижение является результатом объемной работы, которая включает изучение теоретических основ, сбор материала, его анализ, проведение экспериментов и наблюдений. Основные этапы подготовки:
Способы обоснования
Обоснования истинности нового научного знания во многом зависит от его специфики, профильной направленности, практической релевантности. Но для любых гипотез необходимо проводить три общих вида обоснования: теоретическое, логическое и эмпирическое.
Теоретическое обоснование – проверка ее соответствия ключевым принципам научно-предметной сферы. Новое знание должно быть верифицируемым, релевантным категориальному аппарату, соответствовать базовым задачам той или иной сферы научного познания.
Логическое обоснование – соответствие нормам формально-логичного мышления. Нужно соблюсти принцип непротиворечивости, применить для обоснования методы индуктивного и дедуктивного познания.
Эмпирическое обоснование – практическая, экспериментальная, лабораторная проверка. Для разных видов научного знания предполагаются специфические методы эксперимента.
Для подтверждения (или, напротив, опровержения) гипотезы необходимо соблюсти правила логики. Так, заключение (тезис или антитезис) должно быть точным и ясным, неизменным в процессе исследования. В качестве оснований (аргументов) принимаются только истинные факты, уже установленные ранее.
Аргументация должна быть достаточной для формулирования окончательного заключения. Если проверка показывает, что поставленное ученым предположительное утверждение соответствует действительности, гипотеза получает статус научной теории, которая требует дальнейшего изучения.
Не исключено и опровержение гипотезы, обоснованное ложностью ее заключения. В этом случае идут путем фальсификации, устанавливая несоответствие фактов, вытекающих из предположения, следствиям, или при помощи доказательства антитезиса (противоположного гипотезе следствия). Если антитезис доказан, логически это означает несостоятельность (ложность) исходного тезиса.
Построение и проверка
Завершив формулировку гипотезы и ее обоснование, необходимо приступить к завершающему этапу – проверке. Здесь нужно применять метод фальсификации, сформулированный классиками философии науки. По нему, новое знание имеет ценность только в том случае, если есть возможность и путь опровергнуть гипотезу.
Такую проверку истинности гипотезы проводят по тем же принципам, что и обоснование. Обязательно применяют эмпирическую проверку, теоретическую верификацию, логическое доказательство. Но при этом выдвигается ряд альтернативных положений, утверждений.
Такая проверка выполняет двойную задачу. Во-первых, подтверждается истинность сформулированной гипотезы и возможность ее применения в научном или технологическом плане. Во-вторых, готовится фундамент для развития научного знания, выдвижения новых гипотетических умозаключений. Это обеспечивает непрерывность развития науки.
Методы научного познания
Английский философ Ф. Бэкон и логик, экономист Дж. Милль предложили 4 метода выдвижения гипотез на основании установления причинно-следственных связей.
- Метод сходства заключается в предположении, что если несколько случаев наблюдаемого явления имеют схожее обстоятельство, то именно оно и является причиной исследуемого объекта. Методика предполагает установление всех возможных случаев и обстоятельств, глубокий анализ различий, определение вероятности.
- Метод различия противоположен предыдущему. То есть если в одном случае обстоятельство наступает, а в другом – нет, то, вероятнее всего, причина кроется в исследуемом условии наступления последствий.
- Метод сопутствующих изменений – установление взаимосвязей различных явлений.
- Метод остатков или исключения (то есть если известно, что причиной точно не являются одни условия, то предполагается, что оно вызвано именно исследуемым обстоятельством). Эту методику активно использовал в своей научной деятельности А.С. Попов, проводящий опыты по радиосвязи в 1897 году. Так, он обратил внимание на то, что проходящие между кораблями другие морские суда нарушают радиообмен. Он пришел к выводу, что причиной помех является металлический корпус корабля, экранирующий электромагнитные волны.
Рассмотренные выше методы чаще всего используются для обоснования гипотезв совокупности, гармонично дополняя друг друга. С проблемой обоснованного выдвижения гипотезы сталкиваются даже опытные ученые. Большую роль в этом играют воображение, фантазия и математическая интуиция исследователя.
Способность предчувствовать, интуитивно предугадывать называют предикативностью мышления. Это длительный творческий процесс, не имеющий универсального рецепта реализации.
Тем не менее этому можно научиться на любом уровне – начиная от бакалавриата и специалитета. Умение будет полезно всем, кто занимается исследованиями, публикует свои работы в научных журналах.
Проверка гипотез: что это такое и как сделать тест для вашей маркетинговой кампании?
При попытке оптимизировать свою стратегию, вы можете столкнуться с таким понятием, как проверка гипотез. Этот термин звучит научно и может показаться сложным, но действительно может помочь в улучшении маркетинга компании и получения большого количества конверсий. Наиболее хорошо проверка гипотез работает с B2B-компаниями.
Что такое проверка гипотез?
Если говорить проще, то это процесс наблюдения и формирования вопросов на основе собранной информации, и попытки ответить на него с помощью научных методик.
Прелесть этого тестирования в том, что оно проводится постепенно, есть время на обдумывание, а еще каждый этап фиксируется в записи. И хотя проверка гипотез — не новое явление, сейчас о нем немного забыли. Поэтому, если вы будете использовать методику в своей стратегии, можете рассчитывать на хорошее конкурентное преимущество. Итак, как же проводить тестирование? Разберемся, но сначала рассмотрим методологию.
Что такое гипотеза?
Вот отличный пример.
Затем вы можете запустить тесты, чтобы оценить точность вашей гипотезы. Это и есть проверка гипотезы.
Почему A / B-тестирование и многовариантное тестирование тоже классифицируется как проверка гипотез
Такие популярные методы, как A / B-тесты и многовариантное тестирование, считаются проверкой гипотез.
Например, если вы запускаете рекламу для ретаргетинга, можете спросить, подходит ли ваше изображение, а также демографические настройки. Затем запустить A / B и многовариантные тесты, чтобы увидеть, есть ли увеличение трафика и продаж.
Нулевая гипотеза и альтернативная гипотеза
Это термин из логической статистики, из которой также вытекает проверка гипотез. Нулевая гипотеза — утверждение, которое относится к гипотезе, которую вы пытаетесь доказать.
Это не тот результат, на который вы надеетесь, но он дает вам представление о том, что вы пытаетесь опровергнуть.
Как использовать проверку гипотез правильно
Шаг 1: Решите, что тестировать
Шаг 2: Определите свою гипотезу
В этом суть проверки гипотез. Вопрос, который вы зададите, чтобы затем попытаться его доказать.
Если реклама не конвертируется, вы можете спросить, достаточно ли убедителен креатив. Если ваши электронные письма не открываются, вы можете задаться вопросом, есть ли проблема в шаблоне или, наоборот, в его отсутствии.
Вопросы, которые вы зададите, станут основой для экспериментов.
Шаг 3: Определите ваши переменные
Используете ли вы A / B или многовариантное тестирование, или какой-либо другой способ тестирования гипотез, не важно. Выясните, какие изменения вы хотите внести, а затем начните тесты.
Шаг 4: Проверьте свои гипотезы
С вашей первоначальной гипотезой, нулевой гипотезой и альтернативной гипотезой, которую вы только что получили, начните процесс тестирования.
Шаг 5: Рассчитайте свои результаты, проанализируйте и действуйте
Дайте каждому тесту время, чтобы сгенерировать адекватные данные. Не спешите. Вносить изменения в зависимости от прихотей или эмоций — совсем не лучшее решение.
Вместо этого следуйте фактам. Если ваши гипотезы действительно подтвердятся, вы получите доказательство того, что ваши изменения работают
Если нулевые или альтернативные гипотезы доказаны, найдите другие переменные.
После того, как вы получили результаты тестов по рекламе, вашей посадочной странице и готовы к запуску рекламной кампании, запускайте ее. Например, через программатик платформу. Зарегистрируйтесь прямо сейчас.
Читайте также: