Tekst źródłowy strony Lemat Neymana-Pearsona

'''Lemat Neymana-Pearsona''' – twierdzenie z obszaru [[Statystyka|statystyki]] opublikowane przez [[Jerzy Spława-Neyman|Jerzego Neymana]] i [[Egon Pearson|Egona Pearsona]] w 1933. Stanowi – w amalgamacie z wcześniejszą propozycją [[Ronald Fisher|Ronalda Fishera]] – jedną z podstaw procedury [[Weryfikacja hipotez statystycznych|weryfikacji hipotez]] w [[Wnioskowanie częstościowe|podejściu częstościowym]]<ref name=":1">{{Cytuj |autor = Gerd Gigerenzer |tytuł = Mindless statistics |czasopismo = The Journal of Socio-Economics |data = 2004-11 |data dostępu = 2019-03-31 |wolumin = 33 |numer = 5 |s = 587–606 |doi = 10.1016/j.socec.2004.09.033 |url = https://linkinghub.elsevier.com/retrieve/pii/S1053535704000927 |język = en}}</ref><ref name=":3">{{Cytuj |autor = J. Neyman, E.S. Pearson |tytuł = On the Problem of the Most Efficient Tests of Statistical Hypotheses |czasopismo = Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences |data = 1933-01-01 |data dostępu = 2019-03-31 |issn = 1364-503X |wolumin = 231 |numer = 694–706 |s = 289–337 |doi = 10.1098/rsta.1933.0009 |url = http://rsta.royalsocietypublishing.org/cgi/doi/10.1098/rsta.1933.0009 |język = en}}</ref><ref name=":4">{{Cytuj |autor = Johannes Lenhard |tytuł = Models and Statistical Inference: The Controversy between Fisher and Neyman-Pearson |czasopismo = The British Journal for the Philosophy of Science |data = 2006-03-01 |data dostępu = 2019-03-31 |issn = 1464-3537 |wolumin = 57 |numer = 1 |s = 69–91 |doi = 10.1093/bjps/axi152 |url = http://academic.oup.com/bjps/article/57/1/69/1491440/Models-and-Statistical-Inference-The-Controversy |język = en}}</ref>.

== Kontekst i motywacja ==
{{Główny artykuł|Wnioskowanie częstościowe}}
Procedura testowa zaproponowana przez Fishera w 1925 miała następującą postać<ref name=":1" />:
# Wybierz hipotezę zerową <math>H_0.</math> Nie musi ona zakładać zerowego efektu, tylko taki jaki chcesz [[Falsyfikacja|sfalsyfikować]].
# Wykonaj obserwację i przedstaw jej surową wartość <math>p.</math> Oceń na tej podstawie wartość dowodową danych według własnych kryteriów.
# Korzystaj z tej procedury tylko jeśli badasz słabo znany obszar i nie masz lepszych narzędzi.

Neyman i Pearson uznali tę propozycję za niesatysfakcjonującą z szeregu powodów, i pracowali nad przedstawionym poniżej alternatywnym podejściem:
# Wybierz dwie hipotezy, które chcesz porównać: <math>H_1</math> i <math>H_2,</math> oraz dostosowane do konkretnego problemu dopuszczalne ryzyko [[Błąd pierwszego rodzaju|błędów pierwszego rodzaju]] <math>\alpha</math> i [[Błąd drugiego rodzaju|drugiego rodzaju]] <math>\beta.</math> Wykonaj na ich podstawie analizę kosztów w celu wybrania optymalnego testu i wielkości próby dla rozstrzygania pomiędzy hipotezami na wybranym poziomie błędów.
# Jeśli zaobserwowane dane spełniają kryterium odrzucenia <math>H_1,</math> postępuj tak jakby <math>H_2</math> była prawdziwa; w przeciwnym razie postępuj tak, jakby prawdziwa była <math>H_1.</math>
# Procedura ta nie rozstrzyga o prawdziwości hipotez, ale pozwala w długim horyzoncie czasowym utrzymywać ryzyko błędów w założonych granicach. Jest odpowiednia tylko do zastosowań, w których można jasno określić <math>\alpha</math> i <math>\beta,</math> a <math>H_1</math> i <math>H_2</math> dają rozbieżne przewidywania.

Lemat Neymana-Pearsona jest matematyczną formalizacją i dookreśleniem pierwszego punktu, opisując metodę konstrukcji optymalnego warunku krytycznego dla przyjętych <math>\alpha</math> i <math>\beta.</math>

Autorzy obu procedur dopracowywali je z biegiem lat i pozostawali w sporze o ich filozoficzne i praktyczne aspekty do końca życia. Po 1940 r. oba podejścia zaczęły być, wbrew wypowiedziom ich twórców, łączone w podręcznikach w coraz bardziej hybrydową i uproszczoną postać, i przedstawiane przy pomocy języka sugerującego, że pojedyncze wyniki mogą być używane do wyciągania wniosków o [[Prawdopodobieństwo subiektywne|subiektywnym prawdopodobieństwie]] hipotez<ref name=":1" /><ref name=":4" /><ref>{{Cytuj |autor = Gideon Keren, Charles Lewis |autor r = Gerd Gigerenzer |rozdział = The superego, the ego, and the id in statistical reasoning |tytuł = A Handbook for Data Analysis in the Behaviorial Sciences: Volume 1: Methodological Issues Volume 2: Statistical Issues |data = 2014-01-14 |data dostępu = 2017-01-15 |isbn = 9781317759980 |wydawca = Psychology Press |url = https://books.google.pl/books?hl=pl&lr=&id=fTyYAgAAQBAJ |język = en}}</ref><ref>{{Cytuj |autor = E.L. Lehmann |redaktor = Javier Rojo |tytuł = The Fisher, Neyman-Peerson Theories of Testing Hypotheses: One Theory or Two? |data = 2012 |data dostępu = 2019-03-31 |isbn = 9781461414117 |miejsce = Boston, MA |wydawca = Springer US |s = 201–208 |doi = 10.1007/978-1-4614-1412-4_19 |url = http://link.springer.com/10.1007/978-1-4614-1412-4_19 |język = en}}</ref>. Ma ona następującą formę – w krytycznym omówieniu Gigerenzera<ref name=":1" />:
# Przyjmij hipotezę zerową <math>H_0,</math> która zakłada zerowy efekt (brak różnic lub korelacji). Nie potrzebujesz określać żadnych szczegółów własnej hipotezy badawczej.
# Przyjmij ryzyko błędów pierwszego rodzaju <math>\alpha</math> na [[Poziom istotności|poziomie istotności]] 5% i wykonaj test <math>H_0.</math> Jeśli [[Wartość p|wartość ''p'']] przekroczy <math>\alpha,</math> uznaj swoją hipotezę badawczą za potwierdzoną. Zależnie od wartości <math>p,</math> możesz przedstawić wyniki jako „istotne” na poziomie <math>p<0{,}05,</math> <math>p<0{,}01</math> lub <math>p<0{,}001.</math>
# Stosuj tę procedurę do wszystkich zastosowań.

Ta ostatnia metoda stała się w drugiej połowie XX wieku stosowaną powszechnie, i jest w ocenie m.in. Gigerenzera czy [[Jacob Cohen|Cohena]], „bezmyślnym rytuałem”, używanym zbyt często do celów, do których nie została nigdy przeznaczona ani uprawomocniona<ref name=":1" /><ref>{{Cytuj |autor = Jacob Cohen |tytuł = The earth is round (p <.05). |czasopismo = American Psychologist |data = 1994 |data dostępu = 2019-03-31 |issn = 1935-990X |wolumin = 49 |numer = 12 |s = 997–1003 |doi = 10.1037/0003-066X.49.12.997 |url = http://doi.apa.org/getdoi.cfm?doi=10.1037/0003-066X.49.12.997 |język = en}}</ref><ref name=":0">{{Cytuj |autor = Jesper W. Schneider |tytuł = Null hypothesis significance tests. A mix-up of two different theories: the basis for widespread confusion and numerous misinterpretations |czasopismo = Scientometrics |data = 2014-02-25 |data dostępu = 2017-01-14 |issn = 0138-9130 |wolumin = 102 |numer = 1 |s = 411–432 |doi = 10.1007/s11192-014-1251-5 |język = en}}</ref><ref name=":2">{{Cytuj |autor = Raymond Hubbard, M.J. Bayarri, Kenneth N. Berk, Matthew A. Carlton |tytuł = Confusion over Measures of Evidence (p’s) versus Errors (α's) in Classical Statistical Testing |czasopismo = The American Statistician |data = 2003-01-01 |data dostępu = 2017-01-15 |wolumin = 57 |numer = 3 |s = 171–182 |jstor = 30037265}}</ref>.

== Intuicja ==
[[Plik:Wysoka moc statystyczna.png|alt=Przy mocy ok. 70% rozkłady prawdopodobieństwa dla statystyki testowej w hipotezie zerowej i alternatywnej w znacznej części nie pokrywają się|mały|Rozkłady prawdopodobieństwa dla statystyki testowej w hipotezie zerowej i alternatywnej, w teście t dla dwóch grup niezależnych, przy N=100, [[Wielkość efektu|d=0,5]] i dwustronnym α=0,05, co oznacza poziom β≈0,3 ([[Moc testu|moc statystyczną]] ok. 70%).]]
Neyman i Pearson jasno odcięli się od kwestii bezpośredniej oceny hipotez, stwierdzając że „żaden test oparty o teorię prawdopodobieństwa nie może sam w sobie stanowić wartościowego dowodu prawdziwości lub fałszywości hipotez”. Uznali, że są natomiast w stanie formalnie opisać reguły decyzyjne, które pozwalają przynajmniej na długoterminowe unikanie błędów<ref name=":3" />.

Ich propozycja opiera się o założenie, że <math>H_1</math> i <math>H_2</math> prognozują różne rozkłady badanego parametru w populacji, oraz że próby mogą być z niej pobierane wielokrotnie. Reguły prawdopodobieństwa uzasadniają wówczas oczekiwanie, że w długim okresie próby odzwierciedlą leżący u ich podłoża prawdziwy rozkład. Definiują następnie test statystyczny jako regułę rozstrzygającą pomiędzy hipotezami na podstawie tego, czy próba leży w krytycznym regionie rozkładu który jest zdecydowanie bardziej prawdopodobny dla jednej z nich. To, co badacz uzna za krytyczny region, zależy w ujęciu Neymana i Pearsona od konieczności balansowania ryzyka błędów <math>\alpha</math> i <math>\beta</math><ref name=":3" />.

Ujęcie to wyznacza cztery podstawowe możliwości – dwa trafne rozpoznania i dwa błędy – odpowiadające przyjęciu<ref name=":3" />:
* prawdziwej hipotezy <math>H_1,</math>
* fałszywej hipotezy <math>H_1</math> (błąd pierwszego rodzaju, którego ryzyko to <math>\alpha</math>),
* prawdziwej hipotezy <math>H_2,</math>
* fałszywej hipotezy <math>H_2</math> (błąd drugiego rodzaju, którego ryzyko to <math>\beta</math>).

W tym zakresie w jakim rozkłady pokrywają się, istnieje niebezpieczeństwo że próba pochodząca z jednego z nich może zostać omyłkowo przypisana drugiemu. Lemat dowodzi, że sensowny („najlepszy”) region krytyczny leży na tym zakresie, „na skraju” rozkładów. [[Ceteris paribus]], <math>\alpha</math> i <math>\beta</math> wykluczają się – zmiana regionu krytycznego która zwiększa jedno z nich, musi zmniejszać drugie. Najlepszy obszar krytyczny można więc określić jako <math>\alpha</math> szerokości o minimalnym prawdopodobieństwie z jednego rozkładu, który wyznacza jednocześnie analogiczne <math>\beta</math> szerokości drugiego – niezależnie od tego jakie konkretnie <math>\alpha</math> zostało wybrane<ref name=":3" />.

Powyższa konstrukcja regionu krytycznego stanowi podstawę testu statystycznego o najwyższej mocy. Można go zrealizować ilorazem [[Funkcja wiarygodności|funkcji wiarygodności]] danych przy założeniu obu rozkładów, rozstrzygającym na korzyść jednego z nich zależnie od tego, czy plasuje próbę w obszarze krytycznym. Jeśli przyjęto trafny [[model statystyczny]] do określania wiarygodności, a próby są losowe, to decyzje oparte o rezultaty takiego testu asymptotycznie (w liczbie prób zmierzającej do nieskończoności) prowadzą do błędów jedynie z przyjętymi nominalnymi poziomami ryzyka<ref name=":3" />.

W uproszczeniu, lemat sprowadza się do tego, że region krytyczny testu powinien leżeć „na skraju” rozkładów. Jego historyczne znaczenie polega też na ogólnym przedstawieniu podejścia Neymana i Pearsona do testów, oraz opracowaniu zagadnienia [[Moc testu|mocy testu]] we wnioskowaniu statystycznym<ref name=":3" /><ref name=":4" />.

== Lemat ==
Poniższa ekspozycja lematu Neymana-Pearsona oparta jest o jego prezentację w podręczniku Mooda, Graybilla i Boesa<ref>{{Cytuj |autor = Alexander M. Mood, Duane C. Boes, and Franklin A. Graybill |rozdział = IX: Tests of hypotheses |tytuł = Introduction to the Theory of Statistics |data = 1974 |data dostępu = 2019-03-31 |isbn = 0070428646 |wydanie = 3rd ed |miejsce = New York |wydawca = McGraw-Hill |s = s. 410 i następne |oclc = 813585341}}</ref>.

Niech <math>X</math> będzie próbą losową z funkcji <math>f(x; \theta)</math> na [[Przestrzeń probabilistyczna|mierze prawdopodobieństwa]] <math>\mu,</math> gdzie hipotetyczny parametr <math>\theta</math> przyjmuje jedną z dwóch znanych wartości <math>\theta_0</math> lub <math>\theta_1,</math> a <math>\alpha</math> stałą z przedziału <math>0 < \alpha < 1.</math> Niech <math>k^*</math> będzie dodatnią stałą, a region krytyczny <math>C^*</math> podzbiorem całej przestrzeni probabilistycznej <math>\chi,</math> które spełniają warunki:
# <math>P_{\theta_0} \big[ X \in C^* \big] = \alpha,</math>
# <math>\lambda = \frac{L(\theta_0; X)}{L(\theta_1; X)} = \frac{L_0}{L_1} \leqslant k^*</math> jeśli <math>X \in C^*</math> oraz <math>\lambda \geqslant k^* \in X \in \overline{C}^*.</math>

Wówczas test <math>\Tau^*</math> odpowiadający regionowi krytycznemu <math>C^*</math> jest testem hipotez <math>H_0: \theta = \theta_0</math> i <math>H_1: \theta = \theta_1</math> o największej mocy <math>(1-\beta)</math> przy danym <math>\alpha.</math>

Dla przypomnienia, [[Funkcja wiarygodności|wiarygodność]] to w tym przypadku całkowite prawdopodobieństwo danych obserwacji przy prawdziwości konkretnego parametru: <math>L_j = L(\theta_j; X) = \prod^n_{i=1} f(x_i;\theta_j)</math> dla <math>j \in (0, 1),</math> a <math>\overline{C}^*</math> to dopełnienie zbioru: <math>\overline{C}^* = \chi - C^*.</math>

=== Dowód ===
Przyjmijmy że <math>k^*</math> i <math>C^*</math> spełniające warunki 1 i 2 istnieją. Jeśli nie ma żadnego innego testu o istotności <math>\alpha</math> lub niższej, <math>\Tau^*</math> jest automatycznie testem o najwyższej mocy. Załóżmy że istnieje alternatywny test <math>\Tau</math> o takiej istotności istnieje, z regionem krytycznym <math>C{:}</math> <math>P_{\theta_0} \big[ X \in C \big] \leqslant \alpha.</math> Dowód wymaga wykazania, że nie ma wyższej mocy, <math>\pi_{\Tau^*} \geqslant \pi_\Tau.</math>

Kroki dowodu wykorzystują wiele wzajemnych relacji zbiorów <math>C^*</math> i <math>C,</math> w związku z czym w podążaniu za nim może być pomocne odwoływanie się do ich prostego [[Diagram Venna|diagramu Venna]].

Przyjmijmy, że dla każdego podzbioru <math>R \in \chi</math> oraz <math>j \in (0, 1)</math> będziemy zapisywać następujące całki wielokrotne dla skrótu w następujący sposób:
: <math>\int\limits_R \dots \int \left[ \prod_{i=1}^n f(x_i;\theta_j \right] = \int_R L_j.</math>

Udowodnienie że <math>\pi_{\Tau^*} \geqslant \pi_\Tau</math> jest równoważne wykazaniu, że <math>\int_{C^*} L_1 \geqslant \int_C L_1.</math> Następnie:
: <math>\int_{C^*} L_1 - \int_C L_1 = \int_{C^*\overline{C}} L_1 - \int_{C \overline{C}^*} L_1 \geqslant
\frac{1}{k^*} \int_{C^* \overline{C}} L_1 - \frac{1}{k^*} \int_{C \overline{C}^*} L_1,</math>

ponieważ dla regionu krytycznego <math>C^*,</math> i stąd także dla <math>C^*\overline{C}{:}</math>
: <math>L_1 \geqslant \frac{L_0}{k^*},</math>

a dla dopełnienia regionu, <math>\overline{C}^*,</math> czyli także dla <math>C\overline{C}^*{:}</math>
: <math>L_1 \leqslant \frac{L_0}{k^*}</math> oraz <math>- L_1 \geqslant - \frac{L_0}{k^*}.</math>

Jednakże:
: <math>\begin{align}
&\frac{1}{k^*} \left( \int_{C^*\overline{C}} L_0 - \int_{C\overline{C}^*} L_0 \right) \\
={} &\frac{1}{k^*} \left( \int_{C^*\overline{C}} L_0 + \int_{C^* C} L_0 - \int_{C^* C} L_0 - \int_{C\overline{C}^*} L_0 \right) \\
={} &\frac{1}{k^*} \left( \int_{C^*} L_0 - \int_C L_0 \right) \\
={} &\frac{1}{k^*}(\alpha - \alpha_{\Tau^*}) \geqslant 0
\end{align}</math>

co pozwala na konkludowanie dowodu:
: <math>\int_{C^*} L_1 - \int_C L_1 \geqslant 0.</math>

== Przypisy ==
{{Przypisy}}

[[Kategoria:Weryfikacja hipotez statystycznych]]
[[Kategoria:Teoria estymacji]]
[[Kategoria:Twierdzenia probabilistyki]]