Online-Rechner
für statistische Größen
Zunächst betrachten wir einen der wichtigsten Sätze der mathematischen
Statistik, den sogenannten Zentralen Grenzwertsatz, hier verallgemeinert
mit E½Xk½2+d < ¥:
Sei X1,...,Xn eine Folge von unabhängigen, identisch verteilten Zufallsvariablen mit dem Erwartungswert m sowie der Varianz s2 und sei f eine umkehrbare, mindestens einmal diffbare Funktion mit f'(x)³0 für alle reellen x. Dann folgt (auch für nicht invertierbare f, ganz gleich, ob sie für alle oder ein x die Bedingung für die erste Ableitung erfüllen)
Beweis in mehreren Schritten
1. Wir zeigen zunächst, dass E(f(Xk)) = f(m) sowie (Var(f(Xk))1/2 = ½f'(m)½ * sZum Beweis des Erwartungswertes wird hier die Jensensche Ungleichung herangezogen und unter Benutzung der Umkehrfunktion f-1 von f bestimmt. Hierzu bedient man sich zweier Abschätzungen:
E(f(Xk)) £ f(E(Xk)) = f(m) sowie einer Abschätzung nach unten, so dass
Wendet man nun in der zweiten Ungleichung auf beiden Seiten f an, so erhält man für den Erwartungswert dieselbe Abschätzung nach unten wie schon nach oben. Deshalb erhalten wir den Erwartungswert wie oben angegeben aus dem aus der Analysis bekannten Einschlusskriterium.
Um nun die oben angegebene Standardabweichung herzuleiten, bedienen wir uns des Taylorpolynoms 1. Grades der Funktion f.
Sei X0 = m P-fast sicher. Dann erhalten wir
f(Xk) - f(X0) = f(Xk) - f(m) = f'(m) * (Xk - m) P-fast sicher.
Damit ergibt sich
Var(f(Xk)) = E(f(Xk - f(m))2 = E(f'(m) * (Xk - m))2 = (f'(m))2 * E(Xk - m)2 = (f'(m))2 * Var(Xk)
Wegen (x2)1/2 = ½x½ folgt für die Standardabweichung
P({X1 < f-1(x1)},{X2 < f-1(x2)},...,{Xn < f-1(xn)}) =
Pnk=1P(Xk < f-1(xk)) =
Pnk=1P(f(Xk) < xk)
In Zeile 2 und 3 dieses Unabhängigkeitsbeweises in 3. wird die Unabhängigkeit der Zufallsvariablen X1, X2,..., Xn ausgenutzt, wobei die Gleichheit von Zeile 1 und 4 das Geforderte liefert.
4. Als vorletzten Schritt ist die sogenannte Lyapunov-Bedingung zu beweisen. Hierbei nehmen wir nun an, dass ohne Beschränkung der Allgemeinheit f(m) = 0 sei, wobei wir hier zu zeigen haben, dass
ist mit E½f(Xk)½ = ½f'(m)½2+d * E½Xk - m½2+d < ¥
sowie sn2+d = (n * ½f'(m)½ * s)1+(d/2).
Wegen der Endlichkeit des Erwartungswertes und
limn®¥Snk=11/sn2+d = limn®¥ (n/(n1+d/2 * ½f'(m))½ * s)) = 0 mit d > 0.
5. Als nun letzter Schritt ergibt sich aus der Standardisierung P-fast sicher und damit Konvergenz in Verteilung
((Snk=1f(Xk) - n * f(m))/(n1/2 * ½f'(m)½ * s) =
signum(f'(m)) * ((Snk=1Xk - n * m))/(n1/2 * s), deshalb die Voraussetzung bezüglich der 1. Ableitung.
Mit den Beweispunkten 1., 2., 3., 4. und 5. folgt die asymptotische Normalität.
Man bedenke: Ist f(m) = 0, so ist nicht unbedingt m = 0.
Setzen wir z.B. f(Xk) = (gk * Xk)/Snk=1gk mit den relativen Häufigkeiten gk/Snk=1gk, so erhalten wir den Zentralen Grenzwertsatz in Bezug auf das gewichtete arithmetische Mittel, was umso wichtiger ist, da oft Merkmale bei Beobachtungen einen verschieden starken Einfluss ausüben. Hierbei sind die Variablen nicht identisch verteilt. Noch ein Hinweis: Ohne die Voraussetzung, dass f für alle reellen x monoton wächst, wäre obige Größe asymptotisch konvergent gegen F(f-1(x)).
Ein statistischer Test besteht aus einer Nullhypothese und einer Gegenhypothese. Dabei treten Fehler 1. und 2. Art auf, bezeichnet mit a und ß. Dabei besagt der Fehler 1.Art, dass die Nullhypothese fälschlicherweise verworfen wird und der Fehler 2.Art, dass die Gegenhypothese fälschlicherweise verworfen wird. Dabei wird ß maximal 1-a groß. 1 - ß nennt man dabei die sogenannte Güte (engl.power) des Tests. Die Nullhypothese ist dabei immer die Hypothese, die man versucht zu widerlegen. Der Fehler 1. Art ist immer vor Beginn eines Tests festzulegen. Man nennt ihn auch Signifikanzniveau. Dabei ergeben sich einseitige, zweiseitige sowie parametrische und nichtparametrische Tests. Parametrisch bedeutet dabei, dass man eine normalverteilte Grundgesamtheit voraussetzt. 1-a ist dabei die Wahrscheinlichkeit, die Nullhypothese richtigerweise nicht zu verwerfen und 1-ß die Nullhypothese richtigerweise zu verwerfen.
An dieser Stelle werde ich nun mit a > 0 einen einfachen Test für den Mittelwert durchführen, der parametrisch und rechtsseitig ist. An dieser Stelle folgt erst nur die theoretische Abhandlung. Dabei werden hier sowohl der Fehler 1.Art und 2.Art berücksichtigt sowie das gewichtete arithmetische Mittel G als erwartungstreuer Schätzer für den Mittelwert:
Nun ist erst einmal zu sagen, dass aus obigen Grenzwertsatz folgt, dass G asymptotisch N(m,s2/Snk=1gk)-verteilt ist. Nun hat man einen kritischen Wert c zu finden, der folgende Wahrscheinlichkeitsbedingungen verifiziert:
limn®¥P(G > c ½ m < m0) = limn®¥P(G > c ½ m = m0 - a) =
1 - F((c-m0+a)*(Snk=1gk)1/2/s) = a
Hieraus folgt unter Nutzung des (1-a)-Quantils der Normalverteilung folgende Gleichung für c:
Betrachten wir nun den Fehler 2.Art ß. Dieser errechnet sich wie folgt:
ß = limn®¥P(G < c ½ m ³ m0) = limn®¥P(G < c ½ m = m0 + a) =
F((c-m0-a)*(Snk=1gk)1/2/s)
Hieraus ergibt sich mittels des (1-ß)-Quantils der Normalverteilung für c die Gleichung
Subtrahiert man nun die beiden Gleichungen (I) und (II) und stellt dann geschickt um, so erhält man
Die rechte Seite der Ungleichung (III) ist die sogenannte kritische Größe für den anzuwenden t-Test, denn setzt man an Stelle von c in (III) G ein, so erhält man eine t-verteilte Zufallsgröße mit Snk=1gk - 1 Freiheitsgraden, die asymptotisch normalverteilt ist.
Wählt man nun ß = a so ergibt sich lediglich z1-a als kritische Grenze für den Test.
Sei h nun die Realisierung der gerade genannten t-verteilten Größe.Dann ist die Nullhypothese zu verwerfen, wenn h ³ z1-a folgt. Dies geschieht maximal mit der Wahrscheinlichkeit a.
Es sei hier erwähnt, dass für hier eine sehr große Stichprobe vorausgesetzt wurde und deshalb die Quantile der Normalverteilung benutzt wurden. Wird der Fehler 1. Art größer so verkleinert sich der Fehler 2. Art und umgekehrt. Will man die Wahrscheinlichkeit dafür vergrößern, die Nullhypothese nicht fälschlicherweise zu verwerfen, so muss die Stichprobe möglichst groß gewählt werden. Bei kleineren Stichproben müssen hier die Quantile der t-Verteilung herangezogen werden.
Als nächste Schritte wird gezeigt, dass das gewichtete arithmetische Mittel G ein erwartungstreuer Schätzer für m ist und werden einen erwartungstreuen Schätzer für s2 herleiten, der die Empirische Varianz für gewichtete Variablen darstellt.
Es gilt E(G) = (1/Snk=1gk) * Snk=1gk * E(Xk) = m
Damit ist gezeigt, dass G ein erwartungstreuer Schätzer für den Erwartungswert ist, wobei G nicht mit dem geometrischen Mittel zu verwechseln ist. Nun wird ein erwartungstreuer Schätzer für die Varianz hergeleitet, der ebenfalls auf gewichteten Variablen aufbaut. Zunächst ist dazu ein c so zu finden, dass
Mittels der ersten und zweiten Ableitung nach c erhält man c = G. Also erfüllt gerade das gewichtete arithmetische Mittel diese Bedingung.
Wir haben hier den erwartungstreuen Schätzer
mit E(S2) = s2. Setzt man nun gk = 1 erhält man die gewohnte empirische Varianz für ungewichtete Variablen.
Im Folgenden wird ein Beweis für die erwartungstreue des auf gewichteten basierenden Schätzers S2 hergeleitet.
Sei
Dann ist Zk2 chi-quadrat-verteilt mit einem Freiheitsgrad mit dem Erwartungswert 1. Daher ist gerade Snk=1(gk * Zk2) chi-quadrat-verteilt mit Snk=1gk Freiheitsgraden deren Zahl mit gleich dem Erwartungswert ist.Ersetzt man m durch den erwartungstreuen Schätzer G verringert sich die Anzahl der Freiheitsgrade um 1. Q.e.d
Beispiel
Angenommen, eine Klausur liefere bei 1000 Schülern folgendes Ergebnis:
| Zensur Xk | 1 | 2 | 3 | 4 | 5 | 6 |
| Anzahl gk | 100 | 100 | 200 | 200 | 100 | 300 |
Zum Signifikanzniveau 1 - a = 0,99 führe man folgenden Hypothesentest in Bezug auf die Durchschnittsnote unter Annahme einer normalverteilten Grundgesamtheit durch:
Hier ergibt sich als Realisierung h = (g - m0) * (Snk=1gk)1/2/(s2)1/2 = (4 - 3) * (1000)1/2/(2,8)1/2 = 18,9 mit der oben besprochenen Testgröße unter Nutzung der beiden erwartungstreuen Schätzer für Erwartungswert und Varianz. Somit erhält man h = 18,9 > z0,99 = 2,33. Damit ist die Nullhypothese in diesem rechtsseitigen Test zu verwerfen.
Vertauscht man nun die Bedingungen der Null- und Gegenhypothese so erhält man einen linksseitigen Test und wegen za = -z1-a = -2,33 < 18,9 wird dann die Nullhypothese nicht verworfen.
Im Folgenden ein zweiseitiger Test mit den vorhandenen Daten. Sei
Hier erhält man ½h½ = 0 < z1-a/2 = z0,995 = 2,58. Daher wird die Nullhypothese nicht verworfen.
Zudem möchte man gerne wissen, in welchem Intervall man den Erwartungswert mit welcher Wahrscheinlichkeit vorfinden kann. Dieses Intervall nennt man auch Konfidenzintervall(lat. confidere = vertrauen). Hierzu lässt sich verifizeren
limn®¥P(-z1-a/2 < (G-m)*Snk=1gk/S < z1-a/2) =
F(z1-a/2) - F(-z1-a/2) = F(z1-a/2) - (1 - F(z1-a/2)) =
2 * F(z1-a/2) - 1 = 2 * (1-a/2) - 1 = 1 - a.
Durch Umformung gelangt man schließlich zum Konfidenzintervall für den Erwartungswert wie folgt
Der Erwartungswert liegt also mit der Wahrscheinlichkeit 1 - a in diesen Konfidenzintervall, also mit der Wahrscheinlichkeit, dass die Nullhypothese richtigerweise nicht verworfen wird.
Im vorliegenden Beispiel erhält man das Konfidenzintervall [3,996 ; 4,004] worin der Erwartungswert zu 99% liegt.
Eine wichtige Rolle kommt auch der Länge des Intervalls zu. Diese ist definiert durch
Dies bedeutet, dass bei wachsendem Stichprobenumfang sich das Konfidenzintervall um den wahren Erartungswert verengt und man somit genauere Aussagen über diesen machen kann. In unserem Fall ist L = 0,004.
Will man nun die Tests hinsichtlich der Durchschnittsnote ohne Voraussetzung einer normalverteilten Grundgesamtheit führen, so ist der Wilcoxon-Rangsummentest anzuwenden. Er gehört zu den nichtparametrischen (verteilungsfreien) Tests. Es werden hierbei nicht die Variablen Dk = (Xk - m) sondern Rk * I{Dk > 0} betrachtet. Rk ist der Rang der Variablen Dk und I ist die Indikatorfunktion über die positiven Dk.
In die weiteren Betrachtungen werden nun für k=1,...,n die Variablen Yk = Rk * I{Dk > 0} einbezogen. Diese Variablen sind gleich Rk, wenn das Elementarereignis w in {Dk > 0} liegt. Diese Variablen sind binomialverteilt mit E(Yk) = k * P(Dk > 0) = k/2 und Var(Yk) = k2 * P(Dk > 0) *(1 - P(Dk > 0)) = k * (1/2) * (1/2) = k2/4.
Die Variablen Dk sind zudem symmetrisch um ihren Erwartungswert 0 verteilt, woraus der Faktor 1/2 herührt. Da die Yk binomialverteilt sind, da für sie nur zwei gegensätzliche Ereignisse als Realisierung in Frage kommen ist unter Einbeziehung der gk die Summe Wn = Snk=1(gk * Yk) binomialverteilt und somit ist die standardisierte Variable Rn mit
nach dem Gesetz von de Moivre-Laplace asymptotisch N(0;1) - verteilt.
Als Beispiel für einen Test übernehme ich die Daten und Voraussetzungen des rechtsseitigen Tests von oben.
Dazu erstellt man zusätzlich noch die folgende Tabelle
| Zensur | Rang | dk |
| 1 | 2 | -2 |
| 2 | 2 | -1 |
| 3 | 4,5 | 0 |
| 4 | 4,5 | 1 |
| 5 | 2 | 2 |
| 6 | 6 | 3 |
Da hier auch Zensuren mit gleicher Anzahl auftreten, hat man hier eine gebundene Stichprobe vom Umfang 1000. Hierzu werden bei den betreffenden Noten, hier jeweils 1,2,5 sowie 3 und 4 die mittleren Ränge für die Berechnung herangezogen. Unter Nutzung der gerade beschriebenen standardisierten Variablen und ihrer Realisierung rn erhält man rn = 13 > z0,99 = 2,33. Damit wird, wie im parametrischen Fall die Nullhypothese verworfen.
Setzt man alle gk=1, so erhält man diesen Test für ungewichtete Variablen mit
E(Wn) = n * (n + 1)/4 und Var(Wn) = n * (n + 1) * (2n + 1)/24
Für den linksseitigen Test von oben erhält man wie oben, dass die Nullhypothese nicht verworfen wird, da z0,01 = -2,33 < 13.
Für den zweiseitigen Test erhält man mit nachstehender Tabelle
| Zensur | Rang | dk |
| 1 | 2 | -3 |
| 2 | 2 | -2 |
| 3 | 4,5 | -1 |
| 4 | 4,5 | 0 |
| 5 | 2 | 1 |
| 6 | 6 | 2 |
und wn = 2 * 100 + 6 * 300 = 2000
½rn½ = 0 < 2,58 = z0,995 womit auch hier die Nullhypothese nicht zu verwerfen ist.
Für große Stichproben können die Fehler 1. und 2. Art beliebig klein gewählt werden.
An dieser Stelle betrachte man im Zuge des obigen verallgemeinerten Zenteralen Grenzwertsatzes die folgende standardisierte Größe
mit G als gewichtetes arithmetisches Mittel. Hier gilt, da die erste Ableitung cos nicht überall positiv ist
Setzt man x = sin z1 - a, so erhielte man für einen eventuellen rechtsseitigen Test für den Durschnitt der Sinuswerte der Variablen für den Fehler 1. Art das folgende Resultat
Nun könnte man mit der Prüfgröße Zn folgenden rechtsseitigen Test unter Annahme einer normalverteilten Grundgesamtheit durchführen an Stelle der obigen Prüfgröße, indem man als Beispiel einfügt und durch Anwendung des Mittelwertsatzes darlegt, dass das folgende Hypothesenproblem auf das obige zürücktransformiert werden kann.
Unter Nutzung des Mittelwertsatzes und der Tatsache, dass der Kosinus im Intervall (3;4) positiv ist unter der Nullhypothese sinm - sinm0 = cos x * (m - m0) £ 0 und entsprechendes unter der Gegenhypothese mit sinm - sinm0 = cos x * (m - m0) > 0 ist dieser rechtsseitige Test äquivalent zu seinem Pendant oben.
Sei u die Realisierung der Variablen Zn dann ergibt sich
womit auch unter der transformierten Variable die Nullhypothese verworfen wird.
Für den linksseitigen Test ergibt sich unter Ausnutzung der Punktsymmetrie des Sinus
sin za = sin (-z1 - a) = -sin (z1 - a) = -0,04 < 0,329 = u
so dass die Nullhypothese nicht verworfen wird.
Für den zweiseitigen Test erhält man dann
½u½ = 0 < 0,04 = sin 2,58 = sin z1 - a/2 so dass die Nullhypothese nicht verworfen wird.
Nun nehme man als Beispiel für eine für alle x monoton wachsende Funktion f(x) = 2x und f'(x) = 2x * ln 2. Hier bekommt man die standardisierte Größe
mit limn®¥P(Yn£x) = F(x). Mit der Realisierung b = 27,26 dieser Zufallsvariablen erhält man hier bei Nutzung der Quantile der NV wieder dieselben Ergebnisse, denn es folgt für den linksseitigen Test b > -2,33 , rechtsseitig b > 2,33 , beidseitig Betrag von b = 0 < 2,58.
Bei diesen Tests wurden also zwei Funktionen unterschieden, wo einmal Monotonie für alle x, wie gerade, und nicht für alle x wie beim Sinus, herrscht.
Sodann erhält man unter Nutzung einer nicht eindeutig umkehrbaren Funktion f(x) = x2 bei asymptotischer Normalität der standardisierten Größe gegen F(x) dasselbe Ergebnis.
Beim Vergleich zweier Stichprobenmittelwerte wird unter Annahme der Normalverteilung ebenfalls eine t-verteilte Testgröße eingesetzt. Der nichtparametrische Pendant ist hier ebenfalls der Rangsummen-Wilcoxon-Test. Bei mehr als zwei Stichproben wird dann aber die Varianzanalyse und im verteilungsfreien Fall der Kruskal-Wallis-Test eingesetzt,denn sonst müsste man bei m verschiedenen Stichproben
| m | ||
| ( | ) = m * (m-1)/2 | |
| 2 |
Ist also m=3, so hätte man im Falle einer normalverteilten Grundgesamtheit 3 t-Tests auszuführen, was allerdings umständlich wäre. Hier greift dann die Varianzanalyse, hier für gewichtete Variablen mit der folgenden F(m-1,Smi=1Snik=1gik - m,1-a) - verteilten Statistik:
Eräuterung im Einzelnen:
1. m = Anzahl der zu untersuchenden Gruppen
2. ni = Stichprobenumfang der i-ten Gruppe
3. Gi = gewichtetes arithmetisches Mittel der i-ten Gruppe
4. G = gewichteter Gesamtmittelwert über alle Gruppen
5. gik = Gewicht der k-ten Variablen in der i-ten Gruppe
mit Gi= (1/Snik=1gik) * Snik=1gikXik
sowie G = (1/Smi=1Snik=1gik) * Smi=1Snik=1gikXikEs gibt des Weiteren ebenso die Möglichkeit, Tests und Konfidenzintervalle für Quotienten von Mittelwerten zu berechnen. Nehmen wir hierzu einmal an, es gäbe ein Delta mit0 < d < 1 und wir möchten zeigen, dass für zwei wahre Mittelwerte gilt:
so ist natürlich das, was gezeigt werden soll, als Alternativhypothese zu formulieren. Wir erhalten somit die folgende Hypothesenstellung unter der Voraussetzung einer normalverteilten Grundgesamtheit,wobei der Nenner nicht verschwindet:
Nun kommt der Trick: Um ein äquivalentes leicht ausführbares Testbroblem zu erhalten, multipliziert man nun beide Hypothesen mit dem Nenner durch und substrahiert danach alles was auf der rechten Seite steht. Hiernach erhält man durch Ersetzen der wahren Mittelwerte durch ihre schätzer (Plug-in) die folgende Testgröße T, die t-verteilt mit nx+ny-2 FG ist:
Hierbei sind M und V die bekannten Mittelwerte und V ihre Varianzen. Die Nullhypothese kann nicht abgelehnt werden, wenn T kleiner oder gleich der (1-alpha)-Quantile der Normalverteilung ist. Hieraus lässt sich dann durch leichte algebraische Umformung ein Konfidenzintervall herleiten. In diesem Fall wäre die Null im Konfidenzintervall enthalten.