Analytische Statistik: Varianzanpassungstest, Varianzhomogenitätstest. Statistische Methoden in der Korpuslinguistik Heike Zinsmeister WS 2008/09

Transkript

1 Analytische Statistik: Varianzanpassungstest, Varianzhomogenitätstest Statistische Methoden in der Korpuslinguistik Heike Zinsmeister WS 2008/09

2 Varianzanpassungstest Untersuchung der Streuung einer bzw. mehrerer Verteilungen Varianz / Standardabweichung sd _ Stichprobe = Weichen zwei Verteilungen ähnlich unterschiedlich von ihrem jeweiligen Mittelwert ab? n # i=1 (x i " µ) 2 n "

3 Varianzanpassungstest Daten Frage eine abhängige Variable auf Verhältnisniveau keine unabhängige Variable Gleicht die beobachtete Streuung einer Stichprobe einer bekannten Streuung? Test Variante des Chi-Quadrat-Tests Alle Chi-Quadrat-Tests vergleiche beobachtete mit erwarteten Häufigkeiten

4 Varianzanpassungstest Ablaufschema 1. Formulieren der Hypothese 2. Berechnung der beobachteten Stichprobenvarianz 3. Testen der Voraussetzungen Population, aus der die Stichprobe stammt, oder zumindest die Stichprobe ist normalverteilt 4. Ermittlung der Prüfstatistik! 2, der Freiheitsgrade df und der Irrtumswahrscheinlichkeit p

5 Varianzanpassungstest Experiment Spracherwerbsdaten des Russischen zur Aspekthypothese (vgl. Folien vom , S.11) anfänglich starke Korrelation von Präsens und imperfektivem Aspekt sowie Präteritum und perfektivem Aspekt Beobachtung der Tempus-Aspekt-Korrelation Wie entwickelt sich bei einem bestimmten Kind das Korrelationsmaß über die Zeit? (siehe ) Wie verhält sich die Variabilität dieses Kindes zu der von anderen Kindern (durchschnittliche Varianz: 0,025)?

6 Varianzanpassungstest Experiment Abhängige Variable TEMPUSASPEKT (Cramers V-Werte)

7 Varianzanpassungstest Hypothesen H 0 : Die Varianz der Daten für das neu untersuchte Kind unterscheidet sich nicht von der Varianz der bereits untersuchten Kinder H 1 : Die Varianz der Daten für das neu untersuchte Kind unterscheidet sich von der Varianz der bereits untersuchten Kinder (Aufgabe: Mathematische Formulierung? H0: var neues_kind =var bisheriger_durchschnitt H1: var neuen_kind! var bisheriger_durchschnitt

8 Varianzanpassungstest Laden Sie die Datei in R /Users/cluser/_sflwr/_inputfiles/g_data_chapters_1-5/ _tempus-aspekt.txt Russisch<- read.table(file=file.choose(), header=t,sep="\t"); attach(russisch); str(russisch) 'data.frame': 117 obs. of 2 variables: $ FALL : int $ TEMPUS_ASPEKT: num

9 Varianzanpassungstest Berechnung der beobachteten Stichprobenvarianz var(tempus_aspekt) [1] Durchschnittliche Varianz der anderen Kinder 0,025 H0: var neues_kind =var bisheriger_durchschnitt =0,025 H1: var neuen_kind! 0,

10 Varianzanpassungstest Testen der Voraussetzung Normalverteilt? Test Shapiro-Wilk-Test (vgl. Folien vom , S. 10ff.) shapiro.test(tempus_aspekt) Shapiro-Wilk normality test data: TEMPUS_ASPEKT W = , p-value = Interpretation?

11 Varianzanpassungstest Ermittlung der Prüfgröße! 2 " 2 = (n #1) $ Stichprobenvarianz Populationsvarianz Freiheitsgrade n-1 = 116 chi.square<-((length(tempus_aspekt)-1)*var(tempus_aspekt))/0.025 chi.square [1] Kritische Chi-Quadrat-Werte?

12 Varianzanpassungstest Ermitteln der kritischen Chi-Quadrat-Werte für p zweiseitig =0,05, 0,01 und 0,001 (bei df=115, df=116 und df=117) > p.werte<-matrix(rep(c(0.05, 0.01, 0.001), 3), byrow=t, ncol=3) > df.werte<-matrix(rep(115:117, each=3), byrow=t, ncol=3) > qchisq(p.werte, df.werte, lower.tail=f) [,1] [,2] [,3] [1,] [2,] [3,]

13 Varianzanpassungstest Ermitteln des genauen p-werts für den gefundenen Chi-Quadrat-Wert (bei df=116) > pchisq(chi.square, (length(tempus_aspekt)-1), lower.tail=f) [1]

14 Varianzanpassungstest Zusammenfassung Die Varianz des Daten des neu erhobenen Kindes (0,017) weicht gemäß einem Chi-Quadrat Varianzanpassungstest nicht signifikant von der Varianz der Daten der zuvor erhobenen Kinder (0,025) ab:! 2 =78,28; df=116; p zweiseitig >0,

15 Varianzhomogenitätstest Daten Eine abhängige Variable auf Verhältnisniveau Eine unabhängige Variable Frage Weisen zwei Stichproben (oder zwei Variablen) eine identische Streuung auf oder eine so ähnliche Streuung, dass sie sich nicht signifikant unterscheiden? Test F-Test var.test(wertegruppe1,wertegruppe2)

16 Varianzhomogenitätstest Ablaufschema Formulieren der Hypothesen Berechnung der beobachteten Stichprobenvarianzen; graphische Betrachtung Testen der Voraussetzungen Die Population oder zumindest die Stichprobe ist normalverteilt Die Stichproben sind voneinander unabhängig Ermittlung der Prüfstatistik t, der Freiheitsgrade df und der Irrtumswahrscheinlichkeit p

17 Varianzhomogenitätstest Experiment Synonymfindungstest von Muttersprachlern versus fortgeschrittenen Lernern Probanden erhalten Wörter, für die sie Synonyme vorschlagen sollen Verglichen werden soll die Zeit, die die Probanden benötigen, um die Synonyme vorzuschlagen

18 Varianzhomogenitätstest Formulieren der Hypothesen H 0 : Die Zeiten, die Lerner benötigen, um die ihnen einfallenden Synonyme zu nennen, weisen keine andere Unterschiedlichkeit auf, als die Zeiten, die Muttersprachler für die selbe Aufgabe benötigen H 1 : Die Zeiten, die Lerner benötigen, um die ihnen einfallenden Synonyme zu nennen, weisen andere Unterschiedlichkeit auf, als die Zeiten, die Muttersprachler für die selbe Aufgabe benötigen

19 Varianzhomogenitätstest Laden Sie die Datei in R /Users/cluser/_sflwr/_inputfiles/g_data_chapters_1-5/ _synonymzeiten.txt # loesche den Speicher rm(list=ls(all=t)) Synonymzeiten<- read.table(file=file.choose(), header=t,sep="\t"); attach(synonymzeiten); str(synonymzeiten) 'data.frame': 80 obs. of 3 variables: $ FALL : int $ SPRECHER: Factor w/ 2 levels "Lerner","Muttersprachler": $ SYNONYME: int

20 Varianzhomogenitätstest Ermittlung der Stichprobenvarianzen und graphische Betrachtung tapply(synonyme, SPRECHER, var) Lerner Muttersprachler boxplot(synonyme~sprecher, notch=t) > rug(jitter(synonyme), side=2)

21 Varianzhomogenitätstest Test auf Normalverteilung (zumindest bei n<30) Shapiro-Wilk-Test # rechne die Shapiro-Wilk-Tests: Pruefung der Normalverteilung shapiro.test(synonyme[sprecher=="lerner"]) shapiro.test(synonyme[sprecher=="muttersprachler"]) # rechne die Shapiro-Wilk-Tests auf eine elegantere Weise tapply(synonyme, SPRECHER, shapiro.test)

22 Varianzhomogenitätstest Normalverteilung? tapply(synonyme, SPRECHER, shapiro.test) $Lerner Shapiro-Wilk normality test data: X[[1L]] W = , p-value = $Muttersprachler Shapiro-Wilk normality test data: X[[2L]] W = , p-value =

23 Varianzhomogenitätstest F-Test Bildung der Quotienten der beiden Varianzen Oft stellt man den größeren in den Zähler F<var(SYNONYME[SPRECHER=="Muttersprachler"])/var(SYNONYME[SPRECHER=="Le rner"]) > F [1]

24 Varianzhomogenitätstest # ermittle die kritischen F-Wert für p(zweiseitig)=0,05 (bei df1=38-40 und df2=38-40) p.werte<-matrix(rep(0.025, 9), byrow=t, ncol=3) # NB: fuer zweiseitig df1.werte<-matrix(rep(c(38, 39, 40), 3), byrow=f, ncol=3) df2.werte<-matrix(rep(c(38, 39, 40), 3), byrow=t, ncol=3) qf(p.werte, df1.werte, df2.werte, lower.tail=f) [,1] [,2] [,3] [1,] [2,] [3,]

25 Varianzhomogenitätstest # ermittle den p(zweiseitig)-wert fuer den gefundenen F-Wert (bei df1=39 und df2=39) 2*pf(F, 39, 39, lower.tail=f) [1]

26 Varianzhomogenitätstest # rechne den F-Test mit R var.test(synonyme[sprecher=="lerner"], SYNONYME[SPRECHER=="Muttersprachler"]) # alternativ var.test(synonyme~sprecher) F test to compare two variances data: SYNONYME by SPRECHER F = , num df = 39, denom df = 39, p-value = alternative hypothesis: true ratio of variances is not equal to 1 95 percent confidence interval: sample estimates: ratio of variances