Что значит тестировать гипотезу

Интуитивное объяснение проверки гипотез и p-значение

Привет, Хабр! Представляю вашему вниманию перевод статьи «An intuitive explanation of Hypothesis Testing and P-Values» автора Joos Korstanje.

Несколько лет назад я делал свою первую фриланс-работу по статистике для компании по доставке фруктов и овощей. Двадцать четыре часа в день поступающие продукты от фермеров до того, как были отправлены в супермаркеты, проходили через отдел по контролю за качеством. Выбор продуктов осуществлялся случайно работниками данного отдела.

В годовом отчёте они заметили, что качество в этом году ниже, чем качество в прошлом: разница составила примерно половину пункта по шкале от 1 до 10.

Потом пригласили меня. Я должен был ответить на вопрос:

Являются ли эти 0,5 пунктов существенной разницей?

Если вы не знаете статистику, то этот вопрос может показаться вам странным. Но не беспокойтесь: цель этой статьи показать вам как можно ответить на этот вопрос, используя проверку гипотез, также называемое статистическим выводом.

Игра в числа: вклад одного яблока

Представьте себе, что вы проверяете яблоко на предмет хорошее оно или плохое, используя случайную выборку яблок из очень большой коробки с яблоками. В изображении ниже мы видим реальный эффект размера выборки на измерения: эффект одного яблока очень существенен для маленьких выборок и становится менее и менее значимым, чем больше размер выборки.

Вклад одного яблока зависит от размера выборки.

Понимание влияния размера выборки — это первый базис для понимания проверки гипотез. Мы можем начать утверждать, что 0.5 на 2 яблоках будет как разница в 1 яблоко, очень маленькая. Но на 100 яблоках, 0.5 будет представлять собой разницу в 50 яблок: очень большая разница!

На малых выборках 0.5 пункта это небольшая разница, но на больших выборках 0.5 это разница большая.

Насколько большая должна быть выборка: проверка гипотез и значимость как ответ

Есть несколько способов, чтобы ответить на данный вопрос, но в этой статье я собираюсь погрузиться в статистический вывод или проверку гипотез.

Проверка гипотез — это семейство статистических методов используемых, чтобы понять, как выборка наблюдаемых объектов может использоваться, чтобы принять или отвергнуть заранее поставленную гипотезу. Проверка гипотез используется для решения многих задач, в основном в научных исследованиях и как ключевой метод в онлайн маркетинге (А\Б тестирование).

Математики разработали проверку гипотез таким образом, что существует определённая процедура для поиска истины.

Проверка гипотез позволяет только проверить гипотезы, но не разработать их.

Из коробки, в которой 100 яблок (назовём её генеральной совокупностью), мы возьмём выборку из 8 яблок. В этом году из 8 яблок 5 оказались гнилыми (62%), а в выборке прошлого года из 8 яблок было только 4 гнилых (50%). Мы хотим использовать проверку гипотез, чтобы определить стал ли процент гнилых яблок в этом году больше, чем в прошлом.

Проверка гипотез — это математическая альтернатива для измерения генеральной совокупности. Благодаря этим вычислениям мы можем обобщить измерения небольшой выборки на большую генеральную совокупность. Так мы проделываем меньше работы.

Случайно набранная выборка имеет такой же процент гнилых яблок, как и генеральная совокупность, при условии, что набранная выборка достаточно велика.

Математики придумали способ, как обобщить вывод, основанный на выборке, на генеральную совокупность.

Этот способ начинается с формулировки чёткой исследовательской гипотезы. К сожалению, математика работает только в том случае, если у нас уже есть представление о том, что мы хотим проверить.

Основная гипотеза для нашего примера:

Процент гнилых яблок в генеральной совокупности в этом году, больше чем в прошлом.

Фактическая проверка гипотезы

Математика проверки гипотез образует баланс между результатом измерений выборки с числом наблюдений. Результатом будет p-значение.

Эти вычисления проходят через использование распределений: почти для каждой воображаемой ситуации был выведен математический закон, который описывает ожидаемый результат.

Для вопросов вида «да/нет», таких как вопрос о наших гнилых яблоках (гнилые/не гнилые), применяется закон подбрасывания монетки. Это самый простой пример математического закона: 50% выпадения решки, 50% орла.

Также очень просто это может быть представлено, как стандартное математическое распределение, которое скажет нам о вероятности наблюдений. Для примера, 7 орлов выпало из 10 подбрасываний монетки. Это называется биноминальным распределением и может быть изображено так:

биноминальное распределение 10 подбрасываний монетки.

В этой статье я буду далек от тяжёлой математики, но важно знать, что мы можем использовать математические формулы для оценки того, является ли наблюдаемый процент далеким от ожидаемого процента.

В конце этой статьи я дам вам список часто используемых формул проверки гипотез для различных случаев и после объясню, как их использовать. Но сначала я объясню интерпретацию проверки гипотез.

Результат проверки гипотез: p-value

За проверкой гипотез есть математический баланс между наблюдаемыми значениями и размером выборки. В конце вычислений каждый существующий вариант тестирования гипотез выдаст стандартизированную оценку, которая позволит сравнить результат, даже когда математика не совсем одинакова.

P-value это стандартный способ, чтобы сформулировать результат проверки гипотез и использовать его в любых других тестах.

P-value это число между 0 и 1, которое говорит нам, если разница между нашим наблюдениями выборок, и наши гипотезы сильно различаются. Опорное значение – это 0.05.

Разница статистически значима, если p-value меньше 0.05.
И разница статистически не значима, если p-value больше 0.05.

Мы сделали 10 подбрасываний монетки.
Наша гипотеза: мы ожидаем 5 решек.
Наши наблюдения: мы получили 6 решек.
Вычисление p-value дало 0.518, что больше, чем 0.05.
Наш вывод: разница статистически не значима.
Наша интерпретация: результат соответствует гипотезе.

Мы сделали 10 подбрасываний монетки
Наша гипотеза: мы ожидаем 5 решек.
Наш результат: мы получили 10 решек.
Наше p-value — 0.0, что меньше чем 0.05.
Наше заключение: разница статистически значима
Наша интерпретация: результат не соответствует гипотезе.

Мы проверили 10 яблок.
Наша гипотеза: мы ожидаем 1 гнилое яблоко.
Наш результат: мы получили 1 гнилых яблок.
Наше p-value — 1.0 что больше, чем 0.05.
Наше заключение: разница статистически не значима
Наша интерпретация: результат соответствует гипотезе.

Мы проверили 10 яблок.
Наша гипотеза: мы ожидаем 1 гнилое яблоко.
Наш результат: мы получили 5 гнилых яблок.
Наше p-value — 0.0114 что меньше, чем 0.05.
Наше заключение: разница статистически значима
Наша интерпретация: результат не соответствует гипотезе.

Заключение

В этой статье я дал интуитивную интерпретацию общей структуры статистических погрешностей или проверки гипотез. Я надеюсь, что теперь вы лучше понимаете проверку гипотез, и чем она может быть вам полезна.

Я не уходил глубоко в математические доказательства и в специфичные детали. В таблице ниже приведен список самых частых проверок гипотез, которые я рекомендую для дальнейшего изучения.

Название теста	Альтернативная гипотезе
Тест одной выборки	Значение пременной отлично от ожидаемого значения
Тест двух выборок	Значение двух групп различно
ANOVA	Значение больше чем двух групп различно
Пропорциональная z проверка	Процент успеха переменной из двух возможных вариантов отлично от ожидаемого значения
Двухпропарциаоная z-проверка	Процент успеха переменной с двумя исходами различно между двумя группами

Список с альтернативными гипотезами для некоторых проверок гипотез.

Я надеюсь эта статья будет полезна для вас, и желаю вам удачи в дальнейших исследованиях проверки гипотез.

Источник

Что такое тестирование гипотез и как его проводить?

В процессе оптимизации лендинг пейдж для получения максимального числа потенциальных клиентов и конверсий вам может встретиться такое словосочетание, как тестирование гипотез.

На первый взгляд может показаться, что это нечто сложное, подвластное только серьезным ученым, но на деле и рядовые маркетологи, стремящиеся улучшить результаты, все чаще обращаются к научным методам: это помогает им выжать максимум из своих кампаний.

Наука и маркетинг в наши дни образовали высокоэффективный союз, и вы легко сможете пожать плоды этого симбиоза.

Ниже — подробное руководство по тому, как с помощью тестирования гипотез повысить результаты ваших маркетинговых кампаний.

Содержание статьи

Что такое тестирование гипотез?

Тестирование гипотез — это процесс наблюдения и формирования предположений на основе той информации, которую вам удалось собрать, а затем попытки найти им подтверждение с помощью научного метода.

Прелесть этого метода заключается в том, что он не требует спешки, а каждая стадия исследования протоколируется; ваша гипотеза постепенно меняет свою форму, и все это продолжается до тех пор, пока вы не получите удовлетворяющий вас вывод.

Хотя метод тестирования гипотез и научный подход в маркетинге практиковали и раньше, перед маркетологами прошлых десятилетий вы имеете явное преимущество: в вашем распоряжении имеется множество инструментов, которые вы можете использовать для проведения тестирования и сбора данных, которые и помогут вам доказать (или опровергнуть) те или иные гипотезы.

Под таким ракурсом маркетинг может оказаться гораздо ближе к науке, чем вы привыкли думать. Ваша работа состоит в том, чтобы задавать правильные вопросы, формулировать теории, а затем разрабатывать соответствующие тесты, чтобы эти теории доказывать.

Главным результатом деятельности, конечно, станет посадочная страница, которая будет резонировать с потребностями аудитории. Она будет привлекать потенциальных клиентов и стимулировать конверсии, одновременно увеличивая доходы и рентабельность ваших инвестиций.

Звучит потрясающе, не правда ли?

Перейдем к следующему разделу, в котором процесс формирования гипотез для ваших кампаний будет разобран более детально.

Что является гипотезой, а что — нет

Гипотеза — это не более чем предположение, проверка которого и становится вашей главной задачей.

При этом предположение может служить гипотезой только в том случае, если оно доказуемо сбором конкретного типа данных.

Например, вы можете проверить, увеличится ли на 20% уровень конверсии при смене заголовка. Но вы не можете считать гипотезой вопрос «Приведет ли смена названия к росту числа конверсий?».

Другими словами, ваши гипотезы должны быть конкретными, четкими.

Однако по мере последовательного проведения тестирования гипотез вам придется постоянно изменять их, манипулировать ими, пока вы не придете к обоснованным и подкрепленным доказательствами выводам.

Чтобы уметь формулировать корректные гипотезы, вы должны быть готовы погрузиться в детали.

Вот отличный пример.

Допустим, у вас есть десять лендингов на платформе LPgenerator. Два из них весьма успешны. Они привлекли значительный трафик, получили много конверсий и даже были процитированы на некоторых социальных площадках.

Очевидно, что вам нужно свести к формату этих лендингов все свои остальные посадочные страницы, чтобы сделать их столь же успешными.

Вы отмечаете, что успешные лендинги содержат крупные изображения, а текст на них разбит на короткие абзацы.

Ваша гипотеза может звучать так: «Получат ли другие страницы столь же много внимания, если дополнить их крупными изображениями, а текст разбить на абзацы?».

После можно выполнить ряд тестов для оценки точности гипотезы. Удалось ли с помощью крупных изображений и более коротких абзацев привлечь больше трафика? Увеличилось ли число конверсий?

В этом и заключается смысл тестирования гипотез.

Проверка гипотез при помощи A/B- и мультивариантного тестирования

Возможно, вы уже знаете о таких популярных методах, как A/B- и мультивариантное тестирование — пора найти им применение в деле тестирования ваших гипотез.

Используя разные инструменты, вы можете подвергнуть бесчисленному количеству тестов любые элементы своих кампаний и проверить каждую из своих гипотез.

К примеру, если вы запустили ремаркетинговую кампанию, то можете задаться вопросом, а достаточно ли хорошо подходят друг другу использованные в рекламе изображение и текст и резонируют ли они с конкретным сегментом аудитории. При помощи сплит- и мультивариантных тестов вы сможете запросто определить, какой из разработанных вами вариантов больше трафика привлекает и конвертирует.

Другие примеры тестирования гипотез

Ситуация: две посадочные страницы конвертируют хорошо, а одна — нет.

Гипотеза: на этом лендинге заголовок имеет вид вопроса. Может ли его изменение на утвердительное заявление повысить значения целевых показателей?

Ваша задача — провести A/B-тест заголовков, чтобы выяснить, сможет ли эта страница с другим заголовком «догнать» остальные.

Ситуация: открываемость ваших электронных писем резко упала.

Гипотеза: возможно, это связано с использованным вами недавно новым шаблоном писем. Удастся ли вернуться к прежним значениям открываемости писем, если изменить шаблон или вовсе отказаться от них, использовав обычный текст?

Ситуация: в текущий момент ваш сайт испытывает небывалый всплеск показателя отказов.

Гипотеза: поможет изменение цвета сайта на более успокаивающий удерживать людей на ресурсе дольше?

Изображения могут быть слишком маленькими, а заголовки привлекать внимание слишком узкого сегмента аудитории. При помощи мультивариантного теста вы можете тестировать все эти элементы столько раз, пока не найдете наиболее удачную комбинацию.

Обратите внимание, как все эти гипотезы можно проверить с помощью данных. Это ключевой момент тестирования гипотез. Без данных никаких ответов на свои вопросы вы не получите и никогда по-настоящему не поймете обоснованность своих выводов.

Нулевая и альтернативная гипотезы

Нулевая гипотеза — принимаемое по умолчанию предположение о том, что между двумя наблюдаемыми событиями связи не существует.

Например, если вы увеличиваете размеры изображений трех лендингов, надеясь привлечь такой же объем трафика, каким располагают две других страницы с большими изображениями, ваша нулевая гипотеза может заключаться в том, что между размером изображений и объемом привлекаемого трафика нет никакой зависимости.

Иными словами, ваша альтернативная гипотеза заключается в том, что трафик будет расти за счет увеличения изображений, а нулевая гипотеза — в том, что размер изображения на самом деле не имеет значения. Это не тот результат, на который вы надеетесь, но так вы лучше понимаете, что именно вы пытаетесь опровергнуть.

Альтернативная гипотеза обычно противоположна нулевой гипотезе. И ваша задача — опровергнуть нулевую гипотезу. В примере, который был использован выше, альтернативная гипотеза заключается в том, что простое увеличение размера изображений на трех лендингах поможет привлечь больше трафика.

Как извлечь пользу из тестирования гипотез

Шаг 1: решите, что будете тестировать

На этом этапе вы должны выбрать те элементы, производительность которых хотите улучшить. Хотите ли вы решить проблему низкой читаемости некоторых постов? Увеличить открываемость ваших электронных посланий? Может быть, вы просто хотите больше конверсий на своем лендинге?

Как только у вас появится «испытуемый», можете приступать к разработке гипотез.

Шаг 2: сформулируйте гипотезу

В этом и заключается смысл всего мероприятия. Предположение, которое вы будете стремиться доказать при помощи сбора необходимых данных.

Если посадочная страница не конвертирует должным образом, вы можете предположить, что текст на ней недостаточно убедителен. Если ваши письма мало кто открывает и читает, вы можете предположить, что в этом повинен шаблон письма или используемый вами заголовок. Эти предположения в итоге и станут фундаментом тех экспериментов, которыми впоследствии вам предстоит заниматься.

Шаг 3: определите переменные

Будете ли вы проводить A/B- или мультивариантные тесты (или прибегните к другим видам тестирования гипотез), определите, какие изменения вы хотите внести, а затем протестируйте их на своей аудитории.

Вы можете решить изменить заголовок, собрать данные и провести их анализ. Либо можете изменить заголовок, hero-изображение и даже цвет на CTA-кнопке, но тогда ваше тестирование будет носить название мультивариантного.

Шаг 4: проведите тест гипотез

Итак, в вашем распоряжении имеются исходная гипотеза, альтернативная и нулевая. Можете приступать к экспериментам.

Шаг 5: проведите анализ результатов и наметьте план действий

Самое сложное — это не затягивать тесты и не завершать их слишком рано. Вы должны успеть собрать репрезентативный объем данных, который позволит вам сделать объективный вывод.

Не позволяйте своим эмоциям и предубеждениям влиять на оценку эксперимента. Если гипотеза доказана, у вас на руках будут неопровержимые доказательства того, что внесенные вами изменения пришлись к месту.

Если была доказана нулевая гипотеза, вернитесь на несколько шагов и найдите другие переменные. Вы должны проводить тесты до тех пор, пока не найдете идеальное сочетание элементов, которое больше всего нравится вашей аудитории.

Несколько вопросов о тестировании гипотез

• Как долго должно длиться тестирование?

В идеале, продолжительность теста должна быть не менее 7 дней. Например, вы можете собирать данные с понедельника по воскресенье, а потом провести анализ. Конечно, тест можно проводить и более длительное время, но и за неделю вам удастся собрать достаточно материала для работы.

• Следует ли один и тот же тест проводить более одного раза, чтобы быть еще более уверенным в полученных результатах?

На самом деле, если вы сомневаетесь в чистоте эксперимента, не стесняйтесь провести его еще раз. Тестирование гипотез — не разовое мероприятие. Это непрерывный процесс, отдельные эксперименты которого могут быть проведены заново, в разное время и на разных каналах.

И не забывайте: статистическая значимость теста должна быть не менее 95%.

• Какие переменные необходимо подвергнуть тесту?

Если что-то можно протестировать, вы должны это протестировать. Посетители лендинга могут конвертироваться благодаря удачным заголовкам, убедительному тексту, крупным и профессиональным изображениям, удобству навигации и многим другим факторам. Ваша задача — быть настолько любознательным, насколько это возможно, и задавать как можно больше вопросов, чтобы обеспечить тесты необходимым фундаментом.

Когда вы определитесь с гипотезой, в Личном кабинете вам нужно будет создать копию/копии уже существующей посадочной страницы («Копировать вариант»), указать соотношение распределения трафика («Вес») на каждую из версий, внести изменения и наблюдать за реакцией посетителей:

По прошествии определенного срока после запуска теста, проанализируйте данные и выберите, какой из вариантов приносит лучший результат.

Заключение

Любой элемент вашего лендинга или другого маркетингового актива улучшить, а тестирование гипотез — это лишь научный способ это сделать.

Не переставайте задавать вопросы и формулировать все новые и новые гипотезы — это придаст вашему тестированию систематический характер и сделает его наукообразным.

Независимо от того, что вы хотите увеличить — объем трафика, число конверсий или доход — тестирование гипотез должно стать неотъемлемым инструментом вашего маркетингового арсенала.

Источник