Wie liest man Konfidenzintervalle? Teil I. Premiu m

Transkript

1 Wie liest man Konfidenzintervalle? Teil I Premiu m

2 Was sind Konfidenzintervalle? Ein Konfidenzintervall (KI) ist ein Maß für die Unsicherheit bezüglich einer Schätzung eines Effekts. Es ist ein Intervall mit einer Ober- und einer Untergrenze, in der sich der (wahre) unbekannte Effekt befinden soll. Konfidenzintervalle können für verschiedene Parameter berechnet werden (Mittelwerte, Rate, Proportion oder Mittelwertsdifferenzen)! Der geschätzte Effekt muss immer im KI liegen. Die Weite des Intervalls gibt die Präzision der Schätzung des Effekts an. Je kleiner das KI ist, umso präziser und je größer das KI, um so ungenauer ist die Schätzung. Beinhaltet das KI den Wert 0 (z.b. bei Mittelwertschätzung) oder den Wert 1 (z.b. Odds Ratio), dann gilt das der geschätzte Effekt statistische nicht signifikant ist. ( Parallele zu Hypothesen-Tests hier würde ein nicht signifikanter P-Wert beobachtet). Die Weite (Präzision) des KI hängt von zwei Faktoren ab: Stichprobengröße n Heterogenität (Standardfehler SE) Eine große Stichprobe n führt zu größerer Präzision der Schätzung. Geringe Standardfehler führen zu einer größeren Präzision der Schätzung. Das Konfidenzniveau (z.b. 95%) des KI gibt die Genauigkeit der Effektschätzung an. Z.B. ist ein 99% KI akkurater als ein 95% KI. In der Medizin wird jedoch am häufigsten das 95% KI gewählt. Es gibt zwei unterschiedliche statistische Herangehensweisen ein KI zu berechnen: Frequentistisch und nach Bayes.

3 Die Präzision eines Konfidenzintervalls genauer erklärt an einem Beispiel Beispiel: 95% KI für den Mittelwert x x 1.96 SE ( x)bis x+1.96 SE ( x) } Standardfehler: je kleiner desto höhere Präzision, abhängig von: n (Stichprobengröße) und Standardabweichung s Standardabweichung =SD=s= i=1 n ( x i x) 2 n 1 Standardfehler=SE (x)= s n Kleines s macht SE klein! Großes n macht SE klein!

4 Rechenbeispiele: Die Präzision eines Konfidenzintervalls genauer erklärt an einem Beispiel (fortgesetzt) Ausgangswerte: s 1 = 1000; s 2 = 10; n 1 = 1000; n 2 = 10 Beispiel: Kleinere Standardabweichungen führt zu größerer Präzision (I) SE(x) 1 = s 1 / n 1 = 1000/ 1000 = 31,62 (II) SE(x) 1 = s 1 / n 2 = 10/ 1000 = 0.31 Beispiel: Größeres n führt zu größerer Präzision (III) SE(x) 1 = s 1 / n 2 = 10/ 10 = 3.16 (IV) SE(x) 1 = s 1 / n 2 = 10/ 1000 = 0.31

5 Der frequentistische Ansatz für KI Ist der am weitesten verbreitete Ansatz (auch Nevman-Pearson Ansatz genannt). Der frequentistische Ansatz hat einen auf (relativen) Häufigkeiten aufbauenden Wahrscheinlichkeitsbegriff. Beispiel: Eine Münze wird 100 mal geworfen. Was ist die Wahrscheinlichkeit für Kopf? Wenn die Münze fair ist, dann sollte es keine Präferenz für Kopf oder Zahl geben. Die Wahrscheinlichkeit für Kopf oder Zahl ist 0,5. Formale Definition: Die Wahrscheinlichkeit eines Ereignisses ist der Grenzwert seiner relativen Häufigkeit bei (theoretisch) unendlich vielen Wiederholungen. Voraussetzung ist die beliebige Wiederholbarkeit des Experiments; die einzelnen Durchgänge müssen voneinander unabhängig sein. (Limes Definition nach von Mises) Zentrale Grundlagen der statistischen Interferenz dieses Ansatzes sind die Stichprobenverteilung und der Zentrale Grenzwertsatz (Ist die Stichprobengröße hinreichend groß, dann ist die Verteilung der Stichprobenmittel näherungsweise normalverteilt. Das gilt unabhängig davon, ob die Ursprungsvariable normalverteilt ist oder nicht.). Populationsparameter werden als konstante (unbekannte) Werte angenommen.

6 Der frequentistische Ansatz für KI - Wie wird ein Parameter geschätzt? Populationsparameter werden als konstante (unbekannte) Werte angenommen. z.b. man möchte den Populationsparameter Mittelwert schätzen. Nehmen wir an die Populations(!)verteilung ist μ = 0 und SD =5. Diese Werte kennen wir jedoch in Wirklichkeit nicht. Forscher erheben eine Stichprobe mit x1= 0,4 und s1 = 4,8. Diese Werte gelten erstmal als beste Schätzung der Stichproben(!)verteilung. Die Stichprobenverteilung wird durch die langfristige Wiederholung von verschiedenen Stichproben erstellt. Diese beinhaltet sowohl die schon gezogene Stichprobe als auch diverse hypothetische (!) Stichproben, die (noch) nicht existieren. Populationsverteilung Gezogene Stichprobe Weitere hypothetische Stichproben Aus: Junior, Luiz Carlos Hespanhol, et al. "Understanding and interpreting confidence and credible intervals around effect estimates." Brazilian journal of physical therapy (2018). Stichprobenverteilung

7 Interpretation der frequentistischen KI Das frequentistische Konzept des Konfidenzintervalls basiert dabei auf der Wiederholung der Studie. Wiederholt man eine Studie 20 mal so erwartet man, dass in 19 (20 * 0.05 = 19) der berechneten Konfidenzintervalle auch das wahre Populationsmittel enthalten ist. Das Konfidenzintervall ist ein Wertebereich bei dem man relativ zuversichtlich (confident) sein kann, dass es den unbekannten Schätzwert enthält. Falsch ist es jedoch zu sagen, der Wert liegt mit 95%-iger Wahrscheinlichkeit im Intervall! Die Wahrscheinlichkeit, dass der Wert im Intervall tatsächlich liegt, ist entweder 0 oder 1. Das bedeutet jedoch auch, dass bei einem Konfidenzintervall einer bestimmten Studie, das wirkliche Populationsewert im Konfidenzintervall liegen, aber auch nicht liegen, kann!! Beinhaltet das KI den Wert 0 (z.b. bei Mittelwertschätzung) oder den Wert 1 (z.b. Odds Ratio), dann gilt das der geschätzte Effekt statistische nicht signifikant ist. ( Parallele zu Hypothesen-Tests hier würde ein nicht signifikanter P-Wert beobachtet).

8 Interpretation der frequentistischen KI - klinische vs. statistische Signifikanz

9 Der Vorteil der frequentistischen KI gegenüber P-Werten Definition P-Wert: Der P-Wert (auch Überschreitungswahrscheinlichkeit, Signifikanzwert) ist eine Wahrscheinlichkeit und kann Werte von Null bis Eins annehmen. Der P-Wert gibt an, wie wahrscheinlich es ist, ein solches Stichprobenergebnis (oder ein extremeres) zu erhalten, wenn die Nullhypothese wahr ist. Der P-wert deutet an, wie extrem das Ergebnis ist. Je kleiner der p-wert ist, desto mehr spricht das Ergebnis (die beobachten Daten) gegen die Nullhypothese.

10 Der Vorteil der frequentistischen KI gegenüber P-Werten P-Werte sagen nur etwas darüber aus, ob eine Mittelwertsdifferenz besteht oder nicht. Jedoch wird nichts über die Größe oder Art der Differenz ausgesagt. Konfidenzintervalle sind eine Möglichkeit einen Wertbereich anzugeben, bei dem man mit Zuversicht annehmen kann, dass er die wahre Mittelwertsdifferenz enthält. Statistische Signifikanz (ausgedrückt durch den p-wert) sagt nicht unbedingt etwas über die klinische Relevanz der Studienergebnisse aus. Der P-Wert ist stark von der Größe der Studie abhängig. Eine große Studie kann kleine, unwichtige Mittelwertsdifferenzen aufdecken, die aber hoch signifikant sind. Eine kleine Studie kann, obwohl eine klinisch relevante Wirkung besteht, keine statistische Signifikanz aufweisen. Neben einem p-wert sollte man deshalb auch immer ein Konfidenzintervall in einer Studie angeben. Dies hilft dabei, die klinische Relevanz einer Schätzung zu beurteilen. Ein Konfidenzintervall, dass die Nullhypthese einschließt, impliziert einen nicht signifikanten Test (und P-Wert).

11 Nachteile der frequentistischen KI KI führen häufig zu Missverständnissen/Fehlinterpretationen in der Interpretation aufgrund des zugrundeliegenden frequentistischen Wahrscheinlichkeitsbegriffs. Ein 95%-KI gibt nicht(!) mit 95%-Wahrscheinlichkeit, dass der wahre Wert im 95%-KI liegt. Der wahre, konstante Wert ist entweder im Intervall Wahrscheinlichkeit = 1 oder nicht Wahrscheinlichkeit = 0. Des Weiteren wird das KI oft interpretiert und benutzt, um dichotome Entscheidungen darzustellen. D.h. Ist der Wert signifikant oder nicht? Das ist, wie beim P-Wert eine falsche Interpretation eines KI. Mögliche Interpretation eines nicht signifikanten KI: Bei einem nicht signifikanten KI sollte man sich die obere Grenze des 95%-KI anschauen. Es gibt eine 1/40 Chance (d.h. 2,5% Chance, die anderen 2.5% des extremen Resultats liegt unter der unteren Grenze des 95% KI), dass das Ergebnis der Schätzung dieses oder ein höheres Ergebnis ist. Man sollte sich fragen, ob dieses Ergebnis klinisch signifikant ist? Wenn es nicht klinisch signifikant ist, dann kann man eher davon ausgehen, dass die Studie nicht nur negativ, sondern auch definitiv negativ ist. (Greenhalgh 2014) Ist das Ergebnis klinisch signifikant, dann kann man überlegen, ob die untersuchte Therapie vielleicht doch relevant ist. 95% der Verteilung liegen zwischen ±1,96 SE des Mittelwert 2,5 % -iger Verteilungsschwanz 2,5 % -iger Verteilungsschwanz