Проверка гипотезы – это систематический способ отбора отдельных примеров из группы с целью определения ожидаемого поведения всей группы. Проверка гипотезы является неотъемлемой частью инференциальной статистики. Она также известна как проверка достоверности, поскольку достоверность (или ее отсутствие) обычно является определяющим показателем того, принимается настоящая гипотеза или нет.
Гипотеза аналогична теории
Если Вы считаете, что что-то может быть правдой, но еще не имеет окончательного доказательства, это считается теорией до тех пор, пока не будут предоставлены доказательства. Превращение теорий в общепринятые утверждения и факты лежит в основе научного метода, состоящего из основных 4 шагов:
Как и многие часто используемые статистические инструменты, A/B тестирование и многовариантное тестирование – это формы проверки гипотез, поэтому важно начать тестирование своего сайта с создания сильной гипотезы.
Например, если у Вас есть основания полагать, что цвет Вашей страницы перехода может оказать негативное влияние на уровень конверсии, Ваша гипотеза может звучать следующим образом:
«Изменение цвета страницы перехода с черного на синий окажет статистически значимое влияние на уровень конверсии».
Как только эта гипотеза сформулирована, нужно запустить ее проверку, чтобы доказать (или опровергнуть) ее. Крайне важно включить слова «статистически значимый» в гипотезу, поскольку это подразумевает достаточную выборку.
Нулевая гипотеза
Слово «ноль» происходит от латинского слова nullus, что в переводе означает «ничего». Возможно, это определение полезно для более полного понимания термина, часто вызывающего вопросы. Во время тестирования Ваша нулевая гипотеза заключается в том, что ничто не изменится или не улучшится между двумя группами данных. Это не то, что Вы хотите доказать, а, скорее, то, что Вы хотите опровергнуть. Например, Ваша нулевая гипотеза может заключаться в том, что изменение цвета страницы перехода не повлияет на уровень конверсии.
Альтернативная гипотеза
Альтернативная гипотеза также известна как экспериментальная или «исследовательская» гипотеза – именно это Вы пытаетесь доказать посредством проверки. Альтернативная гипотеза противоположна нулевой гипотезе. В нашем примере с изменением цвета страницы перехода гипотетическое утверждение на самом деле является альтернативной гипотезой. Вам нужно опровергнуть свою нулевую гипотезу, чтобы доказать альтернативную.
Аналогия, которая часто используется для описания проверки гипотез, выглядит следующим образом: подсудимый считается невиновным до тех пор, пока его вина не будет доказана. Это эквивалентно тому, что нулевая гипотеза считается истинной до тех пор, пока не будет доказана ее ложность. В зале суда присяжные решают, есть ли достаточные доказательства, чтобы опровергнуть невиновность подсудимого. В A/B тестировании или многовариантном тестировании тестер устанавливает значение порога p-показателя (например, 0,05 или 5 %) для проверки и определения того, насколько маловероятна нулевая гипотеза, прежде чем ее можно будет уверенно опровергнуть.
Оригинал — Hypothesis testing