Instrumente der professionellen Schulevaluation

Transkript

1 Instrumente der professionellen Schulevaluation VERA - ein Beispiel für gute fachliche en in Mathematik und Deutsch Jahrestagung der März 2007, Fuldatal Jana Groß Ophoff & Ursula Koch: Universität Koblenz - Landau, Campus Landau Projektverbund Empirische Bildungsforschung Gliederung Projektstruktur entwicklung Normierung Ergebnisrückmeldungen Evaluation Das VERA-Jahr Fazit Jana Groß Ophoff & Ursula Koch, Universität Landau 2 1

2 Projektstruktur Steuerungsgruppe Vertreter der beteiligten Länder (Berlin, Brandenburg, Bremen, Mecklenburg-Vorpommern, Nordrhein-Westfalen, Rheinland-Pfalz, Schleswig-Holstein) VERA-Projektgruppe Prof. Dr. Helmke und JunProf. Dr. Hosenfeld; Groß Ophoff, J; Halt, A.C.; Hartmann, S.; Henk, F.; Isaac, K.; Koch, U.; Scherthan, F.; Thonke, F.; Wagner, S. (Dipl.-Psych.) Deutschgruppe Prof. Eichler Landesinstitute Lehrkräfte Mathematikgruppe Prof. Lorenz Landesinstitute Lehrkräfte Jana Groß Ophoff & Ursula Koch, Universität Landau 3 Anlage der Klasse Klasse Klasse Klasse Deutsch - Leseverständnis - Leseverständnis - Schreiben Flächendeckende Durchführung, jährlich ca Schulen Klassen Lehrkräfte Schülerinnen und Schüler - Leseverständnis - Schreiben - Sprache und Sprachgebrauch unters. - Rechtschreibung - Leseverständnis - Sprache und Sprachgebrauch unters. Mathematik -Arithmetik -Geometrie -Sachrechnen -Arithmetik -Geometrie -Sachrechnen -Zahlen und Operationen -Größen und Messen -Zahlen und Operationen -Größen und Messen Jana Groß Ophoff & Ursula Koch, Universität Landau 4 2

3 Das VERA-Jahr: schematischer Ablauf -Entwicklung Normierung Ergebnis- Jana Groß Ophoff & Ursula Koch, Universität Landau 5 Ziele -Entwicklung Normierung Schul- & Unterrichtsentwicklung Standardsicherung und -entwicklung Umsetzung Kern-/ Rahmenlehrpläne & Bildungsstandards Diagnosegenauigkeit Ergebnis- Jana Groß Ophoff & Ursula Koch, Universität Landau 6 3

4 Das VERA-Jahr: entwicklung -Entwicklung Normierung Ergebnis- Jana Groß Ophoff & Ursula Koch, Universität Landau 7 entwicklung: Ziele Ergebnisorientierte Unterrichtsentwicklung: Lehrkräfte als Experten einbeziehen Schätzung der Lösungshäufigkeiten (Diagnosegenauigkeit) Durchführung & Auswertung Ergebnisrückmeldungen & Interpretation Vermittlung einer neuen Unterrichts- und kultur unterschiedliche formate, Korrekturhinweise didaktische Erläuterungen Handreichungen Deutsch: Thematische Rahmung (z.b. "Träume"), integrative Formate Mathematik: Inhaltsbereiche der Standards (z.b. Raum und Form oder Daten, Häufigkeit und Wahrscheinlichkeit ) Jana Groß Ophoff & Ursula Koch, Universität Landau 8 4

5 entwicklung: Vorgehen Formulierung von Zielen / Prinzipien Deutsch: Bestimmung von Rahmen -Themen / Textsuche Entwicklung von und Korrekturanweisungen Inhaltsgebiete VERA-Fähigkeitsniveaus / schwierigkeitsbestimmende Merkmale Bildungsstandards / Kern- und Rahmenlehrpläne fachdidaktische Hintergründe / theoretische Grundlagen Umsetzung der Entwürfe motivierende Gestaltung einheitliches Layout, druckbares Format sachlich/fachlich korrekte Inhalte bzw. Darstellung Review-Verfahren en aus Referenzschulen Austausch von Anregungen / Überarbeitungszyklen Entwicklergruppe inhaltliche und orthografische Korrekturen Jana Groß Ophoff & Ursula Koch, Universität Landau 9 VERA 2005 Deutsch: Rahmen-Thema Reisen Die 12 Mädchen und 14 Jungen einer 4. Klasse planen eine Klassenfahrt. Sie haben sich deshalb im Internet über Angebote und Preise informiert und zwei Katalogseiten vom Rheinsberger Kinderland ausgedruckt. Nun schauen sie sich die Seiten genau an. Textcluster: 1.fiktionaler Text ( Eisenbahnoma ) 2.diskontinuierlicher Sachtext (Fahrkarte) 3.kont. Sachtext ( Kids on Tour ) 4.kont./diskont. Sachtext (Broschüre Rheinsberger Kinderland) Jana Groß Ophoff & Ursula Koch, Universität Landau 10 5

6 Das VERA-Jahr: Normierung -Entwicklung Normierung repräsentative Stichprobe: -Informationen Hintergrundinformationen Unterricht Ergebnis- Jana Groß Ophoff & Ursula Koch, Universität Landau 11 Normierung Anlage der Testhefte (Multi-Matrix-Design) Durchführung in den Schulen (z.b. April/Mai 2006 ca Schülerinnen und Schüler) Auswertung in Landau Skalierung der -Analyse und Ausschluss problematischer Abschließende Skalierung / Beschreibung von Fähigkeitsniveaus Auswahl der Testaufgaben psychometrische Kriterien fachdidaktische Überlegungen politische Vorgaben Jana Groß Ophoff & Ursula Koch, Universität Landau 12 6

7 Fähigkeitsniveaus (FN) Leseverständnis Elementare Fähigkeiten: Gewinnung von Einzelinformationen, rekodierendes Wortfür-Wort-Lesen Erweiterte Fähigkeiten: Verknüpfung von mehreren Informationen, Reflexion über einzelne Abschnitte oder die Hauptaussage des Textes FN 1 FN 2 Fortgeschrittene Fähigkeiten: Komplexere Schlussfolgerungen, Verknüpfung mit Vorwissen, Interpretation & Beurteilung wesentlicher Textstellen FN 3 Jana Groß Ophoff & Ursula Koch, Universität Landau 13 Fähigkeitsniveaus (FN) Zahlen und Operationen Elementare Fähigkeiten: z.b. Einsicht in das Stellenwertsystem liegt vor und kann bei einfachen Additionsaufgaben mit Überschreiten und bei Subtraktionsaufgaben ohne Überschreiten des Tausenders angewendet werden. Erweiterte Fähigkeiten: z.b. Einsicht in das Stellenwertsystem liegt vor und kann bei einfachen Additions- und Subtraktionsaufgaben auch bei Überschreitung des Tausenders sowie beim Runden angewandt werden. Fortgeschrittene Fähigkeiten: z.b. Einsicht in das Stellenwertsystem liegt vor und Veränderungen können, durch geeignete arithmetische Operationen, flexibel vorgenommen werden. FN 1 FN 2 FN 3 Jana Groß Ophoff & Ursula Koch, Universität Landau 14 7

8 Das VERA-Jahr: -Entwicklung Normierung Zentral-Stichprobe: Akzeptanz VERA Durchführung/Kooperation Unterricht Ergebnis- Jana Groß Ophoff & Ursula Koch, Universität Landau 15 : Durchführung für die Lehrkräfte: Herunterladen und Ausdruck der Durchführung der Vergleichsarbeit in den Klassen auswertung und Dateneingabe Jana Groß Ophoff & Ursula Koch, Universität Landau 16 8

9 : Zentralstichprobe 2006 Deskriptives: Deutsch Mathematik Unterrichtetes Fach 30,9% 41,5% 27,6% Lehrerfahrung 20,0 Jahre 22,2 Jahre 20,0 Jahre Auswertung im Team 39,5% 35,6% Zeit für Korrektur 6,83 Stunden 5,45 Stunden Jana Groß Ophoff & Ursula Koch, Universität Landau 17 : Zentralstichprobe 2006 Anteile Unterricht: Deutsch Mathematik Sprechen & Zuhören 20,0% 44,3% Zahlen & Operationen Schreiben 19,4% 15,7% Raum & Form Rechtschreibung 21,5% 10,7% Muster & Strukturen Lesen 21,9% 20,0% Größen & Messen Sprache untersuchen 17,2% 9,7% Daten, Häufigk. & Wahrscheinlichkeit Jana Groß Ophoff & Ursula Koch, Universität Landau 18 9

10 : Zentralstichprobe (1 = stimme gar nicht zu bis 4 = stimme voll zu)... sind für die schulische Qualitätssicherung nützlich.... sind für die Arbeit der Lehrkräfte wichtig.... tragen dazu bei, dass man sich an den Schulen mehr bemüht.... informieren objektiv darüber, wo eine Klasse bzw. eine Schule steht.... nützen für meine eigentliche Arbeit als Lehrer wenig.*... erzeugen unnötigen Druck auf die Schulen.* Akzeptanz gesamt ,4** Jana Groß Ophoff & Ursula Koch, Universität Landau 19 Das VERA-Jahr: der Ergebnisse -Entwicklung Pilotierung/Normierung Elterninformation Ergebnis- Jana Groß Ophoff & Ursula Koch, Universität Landau 20 10

11 Ergebnis-en Zuordnung zu den Fähigkeitsniveaus der Ergebnisse an die Lehrkräfte Lehrkraft Eltern/Schüler Schulaufsicht Basisinformationen Fähigkeitsniveaus: Schülerinnen und Schüler Fähigkeitsniveaus: Klassen- und Schulebene Diagnosegenauigkeit Zusatzinformationen Lösungshäufigkeiten in den Fähigkeitsniveaus im Vergleich zum Land Fairer Vergleich ( ) ( ) ( ) Jana Groß Ophoff & Ursula Koch, Universität Landau 21 Gestaltung der en Kriterialer Vergleich Fähigkeitsniveau 1: Elementare Fähigkeiten Fähigkeitsniveau 2: erweiterte Fähigkeiten Fähigkeitsniveau 3: fortgeschrittene Fähigkeiten Sozialer Vergleich Jana Groß Ophoff & Ursula Koch, Universität Landau 22 11

12 Vorteile der Gestaltung Das Rückmeldeformat ist... erschöpfend: Informationen können in einem Format dargestellt werden, v.a. auch Streuungsinformationen integrativ: verschiedene Vergleiche sind simultan möglich (kriterial + sozial) anschaulich: verständliche Kennwerte differenziert: Fach wird in Bezug auf Inhaltsbereiche zurückgemeldet reichhaltig: Vielfalt von Vergleichsmöglichkeiten liefert verschiedene Ansatzpunkte Jana Groß Ophoff & Ursula Koch, Universität Landau 23 Ergebnisse VERA 2006 Gesamtverteilung 2006 Zahlen und Operationen 1,3 25,7 45,5 27,5 Größen und Messen 1,4 29,8 47,7 21,2 Sprachbetrachtung 4,6 18,6 46,7 30,1 Lesen 6,2 39,5 34,3 19,9 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% nicht auswertbare Leistungen Fähigkeitsniveau 1 Fähigkeitsniveau 2 Fähigkeitsniveau 3 Jana Groß Ophoff & Ursula Koch, Universität Landau 24 12

13 Ergebnisorientierte Schul-und Unterrichtsentwicklung Aus den Ergebnisrückmeldungen sollen Annahmen über Ursachen gebildet, diese überprüft und Konsequenzen daraus abgeleitet werden (Hosenfeld, 2005). Aber: von Leistungsinformationen führt nicht automatisch zu schulischen Innovationsprozessen (Kohler & Schrader, 2004) Diskrepanz zwischen wissenschaftlichem und schulischem Handlungswissen (Rolff, 2002) Probleme bei Ergebnisinterpretation und Anwendung auf den Unterricht (GroßOphoff et al., 2006) kein ausgereiftes Grundverständnis empirisch orientierter Verfahren (Peek & Dobbelstein, 2006) Jana Groß Ophoff & Ursula Koch, Universität Landau 25 VERA 2005 Deutsch: Materialien...ergänzend zu den Testaufgaben: Beschreibung der Fähigkeitsniveaus Didaktische Erläuterungen Deutsch Didaktische Erläuterungen Lesen Handreichungen zur Vorbereitung (z.b. Test Wiseness, Kriterienkataloge für Schreibaufgaben) Pädagogischen Nutzung Diagnosegenauigkeit Inhalt A In welchem Zusammenhang stehen Bildungsstandards und? B Lesen Leseverständnis C Text- und beispiele aus VERA D Leseunterricht E Umgang mit den Ergebnissen F Weiterführ ende Literatur Se Impressum VERA Projektgruppe: Petra Bittins, Sabine Dörnhaus, Jana Groß Ophoff, Christiane Hermes, Ingmar Hosenfeld, Kevin Isaac, Sabine Klose, Gabi Langel- Carossa, Rainer Peek, Ulrike Potthoff, Thomas Reviol, Anke Schumacher, Elvira Waldmann, Christina Willert Herausgeber: ( ) Universität Koblenz - Landau Campus Landau Fortstraße Landau Jana Groß Ophoff & Ursula Koch, Universität Landau 26 13

14 VERA 2005 Deutsch: Didaktische Erläuterungen 1. In welchem Zusammenhang stehen Bildungsstandards und VERA? 2. Lesen Leseverständnis : Welche Aspekte spielen beim Lesen eine Rolle? Was bedeuten die Fähigkeitsniveaus? Nach welchen Kriterien wurden die Texte und ausgewählt? 3. Text- und beispiele aus VERA 4. Leseunterricht Welche Möglichkeiten der Förderung des Leseverstehens gibt es? Wie kann man mit dem VERA-Lesetest im Unterricht weiterarbeiten? 5. Umgang mit den Ergebnissen 6. Weiterführende Literatur Bildungsziele des Faches Lehr- und Rahmenplanvorgaben Bildungsstandards für die Kernbereiche des Faches Ende 4 VERA - Überprüfung einzelner Teilkompetenzen Ende 3 / Anfang 4 Jana Groß Ophoff & Ursula Koch, Universität Landau 27 VERA 2005 Deutsch: Umgang mit Ergebnissen Schülerebene Unterrichtsebene Schulebene Rezeption / Reflektion Mögliche Ursachen der Leistungsverteilung - Sprachliche Voraussetzungen und Weltwissen - Anstrengungsbereitschaft - Verständnis der Instruktionen - Erfahrung mit unterschiedlichen Textsorten - Erfahrung mit unterschiedlichen formaten Aktion Mögliche Maßnahmen - attraktive und differenzierte Leseangebote - Motivation durch Berücksichtigung der Leseinteressen - freies Lesen mit fest eingeplanten Zeiten - Gespräche über Texte (z.b. Buchvorstellungen) führen - Strategiewissen ausbilden Evaluation - wiederholter Einsatz von VERA - - Klassenarbeiten in Anlehnung an VERA - / Korrekturkriterien - Lesemotivation: Befragung der Schülerinnen und Schüler - Stellenwert des Lesens im - Leseförderung als Teil des schulischen Alltag Schulprogramms - Beteiligung aller Fächer an - Kriterien zur Bewertung von der Leseförderung Leseleistung Fachkonferenz klären Jana Groß Ophoff & Ursula Koch, Universität Landau 28 14

15 Angebot Landau: Informationsmaterialien Allgemeine Handreichungen: Durchführung Dateneingabe landesspezifische Informationen pädagogische Nutzung Handr. zur Analyse von Falschlösungen Handr. Diagnosegenauigkeit Mathematik Fähigkeitsniveaus Mathematik Didaktische Erläuterungen Deutsch Fähigkeitsniveaus Deutsch Didaktische Erläuterungen Lehrplanbezüge Seitenaufrufe Stand: Febr ,4 % 92,3 % 76,9 % Jana Groß Ophoff & Ursula Koch, Universität Landau 29 Unterstützungsmaßnahmen in den VERA-Ländern Multiplikatoren-Systeme (Regionalkonferenzen, Qualitätsforen): u.a. Schulung/Vorträge zu didaktischen Materialien, Nutzung der Ergebnisse Fachmultiplikator/-innen, Fachkoordinator/-innen Fachkonferenzleiter/-innen Schulleiter/-innen, Schulräte Fortbildungsangebote (i.d.r. durch Landesinstitute, Multiplikator/-innen): Umgang mit Ergebnissen, Ableitung von Konsequenzen Entwicklung von Test- und Unterrichtsaufgaben allgemein: Deutsch als Zweitsprache, Diagnosegenauigkeit Angebot Informations- und Schulungsmaterialien: z.b. Broschüre Deutsch als Zweitsprache, PISA- Koffer Web-Portale (z.b. Berichtlegung: Schulaufsicht: Zielvereinbarungen/Maßnahmen, zu schulischen Qualitätsprogrammen Qualitätsprogramme Jana Groß Ophoff & Ursula Koch, Universität Landau 30 15

16 Vielen Dank für Ihre Aufmerksamkeit! 16