Zwięzła lista terminologii z zakresu statystyki przydatna do eksperymentowania
Wartość P
Wartość p to prawdopodobieństwo uzyskania co najmniej tak samo skrajnych wyników przy założeniu, że hipoteza zerowa jest prawdziwa. Innymi słowy, wartość p to oczekiwana fluktuacja w danej próbie, podobna do wariancji. danej próbie, podobnie jak wariancja. W teście AB wartość p jest różnicą, jaką zobaczylibyśmy w próbkach, gdybyśmy przeprowadzili test test A/A.
Poziom istoty statystycznej
Poziom istotności to prawdopodobieństwo odrzucenia hipotezy zerowej przy założeniu, że jest ona jest prawdziwa. Jest to wartość, którą ustalamy na podstawie poziomu dokładności, który uważamy za akceptowalny. W testach AB poziom istotności to standardowe 5%, które daje nam wyniki z 95% pewnością.
Testowanie hipotez statystycznych
Test AB jest przykładem testowania hipotez statystycznych, czyli procesu, w którym hipotezę dotyczącą związku między dwoma zestawami danych, a następnie te zestawy danych
są następnie porównywane ze sobą w celu ustalenia, czy istnieje statystycznie statystycznie istotna zależność, czy też nie.
Aby ująć to w bardziej praktyczny sposób, można przewidzieć, że wariant strony #B będzie będzie działała lepiej niż strona w wariancie #A, a następnie obserwuje się i porównuje zestawy danych z obu stron, aby ustalić, czy strona w wariancie
obserwuje się i porównuje, aby ustalić, czy Wariant #B jest statystycznie jest statystycznie istotną poprawą w stosunku do Wariantu #A.
Populacja statystyczna
W statystyce populacja to zbiór podobnych elementów lub zdarzeń, które są przedmiotem zainteresowania dla dla jakiegoś pytania lub eksperymentu. Jest to grupa, o której chcemy uzyskać informacje. W przypadku testowania strony internetowej w systemie AB, prawdziwą populacją jest każda osoba, która w przyszłości odwiedzi tę stronę.
Próbka danych
Próba danych to zbiór danych zebranych i/lub wybranych z populacji statystycznej za pomocą określonej procedury. Jest to niewielka część większej populacji. W przypadku testów AB, próbką jest liczba odwiedzających, którym wyświetlamy naszą nową w celu zebrania danych.
Średnia
Średnia to tendencja centralna rozkładu prawdopodobieństwa.
W testach AB, średnia to współczynnik konwersji naszej strony z próbką odwiedzających.
Wariancja
Wariancja jest miarą zmienności między próbkami. Oficjalnie jest to oczekiwaniem kwadratu odchylenia zmiennej losowej od jej średniej. W testach AB wariancja wpływa na wielkość próby, której potrzebujemy, aby mieć mieć szansę na uzyskanie statystycznie istotnych wyników.
Regresja do średniej
Regresja do średniej to zjawisko polegające na tym, że jeśli zmienna jest skrajna przy pierwszym pomiarze, to przy drugim pomiarze przy pierwszym pomiarze, to przy drugim będzie się ona zbliżać do średniej. W testach AB zjawisko to gwarantuje, że w miarę zwiększania liczebności próby wielkość próby i długość obserwacji, średnia z naszych skumulowanych obserwacji będzie się coraz bardziej zbliżać się do prawdziwej średniej populacji.
Poziom ufności i przedział ufności
Przedział ufności to obserwowany zakres, w którym mieści się dany procent wyników testu. Przedział ufności jest określany przez poziom ufności, który wybieramy ręcznie na początku naszego testu i który wpływa na wielkość wymaganej próby.
W testach AB poziom ufności jest zwykle ustawiony na 95%, co daje nam zakres (przedział ufności), w którym wiemy, że mieści się przedział ufności), w którym wiemy, że średnia wypadnie w co najmniej 19 z 20 próbek. próbki.
Margines błędu
Margines błędu jest statystyką wyrażającą wielkość błędu losowego w wynikach próby. Margines błędu jest funkcją odchylenia standardowego, które
jest funkcją wariancji. Tak naprawdę wystarczy wiedzieć, że wszystkie te pojęcia są miarami zmienności w próbach.
Margines błędu dodaje się do średniej i odejmuje od niej, aby wyznaczyć przedział ufności.
Hipoteza zerowa
Hipoteza zerowa to podstawowe założenie, że nie ma związku między dwoma zestawami danych. Gdy przeprowadza się test hipotezy statystycznej, wyniki albo obalają hipotezę zerową lub nie udaje się jej obalić.
W teście AB hipotezą zerową jest założenie, że strona oryginalna i nowa strona nie mają statystycznie istotnego związku.
Istotność statystyczna
Istotność statystyczna jest osiągnięta, gdy wartość p jest mniejsza od poziomu istotności. poziomu istotności. To o wiele za dużo nowych słów w jednym zdaniu, więc rozłóżmy te terminy naprawdę szybko, a następnie podsumujemy całą koncepcję w prostym języku angielskim. W testach AB istotność statystyczna to sposób, w jaki sprawdzamy, czy nowa strona rzeczywiście przewyższa oryginał.
Moc statystyczna
Moc statystyczna to prawdopodobieństwo, że test prawidłowo odrzuci hipotezę zerową. W testach AB, jest to prawdopodobieństwo poprawnego rozpoznania strony jako "zwycięzcy", gdy strona ta w rzeczywistości konwertuje z wyższym współczynnikiem.
Błąd typu I
Błąd typu I występuje wtedy, gdy błędnie odrzucamy hipotezę zerową. W teście AB błąd typu I wystąpiłby, gdybyśmy stwierdzili, że odmiana B jest "lepsza" od wariantu A, podczas gdy w rzeczywistości taka nie była. Błędów tych unika się poprzez uzyskanie statystycznie istotnych wyników.
Błąd II rodzaju
Błąd typu II występuje, gdy hipoteza zerowa jest fałszywa, ale błędnie nie udaje się jej jej odrzucić.
Ujmując to w kategoriach testu AB, błąd typu II wystąpiłby, gdybyśmy stwierdzili, że Wariant B nie był "lepszy" od wariantu A, podczas gdy w rzeczywistości był lepszy. Te błędów tych można uniknąć, przeprowadzając testy o dużej mocy statystycznej.