Testen und Bewerten fremdsprachlicher Kompetenzen. Barbara Hinger

Чтение книги онлайн.

СКАЧАТЬ diese modernen Modelle von Validitätsargumenten, die schlüssig erbracht werden müssen, um die Qualität von Tests zu belegen. Die Modelle von Kane (2004, 2006, 2012) und Bachman & Palmer (2010) stellen daher die Ziele, die mit der Verwendung eines Tests verfolgt werden, in den Vordergrund. Beide Modelle definieren Validierung als erforderliche Beweislegung für Aussagen und Schlussfolgerungen, die auf der Basis von Testresultaten getätigt werden, um deren Plausibilität transparent zu machen. Obwohl dies im ersten Moment das schwer fassbare Konzept der Validität zu umgehen scheint, fällt bei genauerer Betrachtung auf, dass auch diese Modelle, trotz innovativer Terminologie, die oben diskutierten Kernprinzipien kaum außer Acht lassen können. Für Bachman & Palmers (2010) Kriterien „nutzbringend“, „fair“, „generalisierbar“, „sinnvoll“, „neutral“, „relevant“, „ausreichend“ und „konsistent“ können daher relativ leicht Äquivalente aus den oben erläuterten „traditionellen“ Gütekriterien gefunden werden. Während diese neuen Modelle also zweifelsfrei den Vorteil haben, dass sie methodische und praktische Anliegen in der Validierung ebenso in den Vordergrund rücken wie die Frage nach der beabsichtigten Zielsetzung eines Sprachtests, so kommen sie dennoch nicht ohne die klassischen Kriterien aus.

      Arbeitsaufträge und Diskussionsfragen

      1 Wie können Sie eine Klassen-/Schularbeit für Ihren Unterricht möglichst durchführungsobjektiv gestalten?

      2 Wie würden Sie KollegInnen/SchülerInnen das Testprinzip „Reliabilität“ mithilfe eines praktischen Beispiels aus dem Alltag erklären?

      3 Wie verstehen Sie folgendes Zitat aus Kranert (2013, 10)? „Für das nicht formale Prüfen im Rahmen von Schule und Universität, d.h. für nicht standardisierte Prüfungen, ist wichtig, dass ein Test mit geringer Validität und hoher Reliabilität gut für die Differenzierung zwischen den Leistungen von Prüflingen geeignet ist.“ Würden Sie Kranert nach der Lektüre dieses Kapitels zustimmen oder sein Argument widerlegen wollen?

      4 Denken Sie an einen Test, den Sie kürzlich erstellt oder durchgeführt haben. Wie schätzen Sie den Washback dieses Tests ein? Bedenken Sie mögliche positive und negative Wirkungen.

      5 Überlegen Sie, welche Faktoren bei der Erstellung einer Klassen-/Schularbeit bzw. eines Tests berücksichtigt werden sollen, um dem Prinzip der Authentizität gerecht zu werden. Welche Rolle spielen dabei Alter der Lernenden, ihr Geschlecht, das Vorwissen oder affektive Faktoren?

      Weiterführende Literatur

      Alderson, J. Ch., Clapham, C. & Wall, D. (1995): „Validation“. In: Language Test Construction and Evaluation. Cambridge: Cambridge University Press, 170–196. Dieses Kapitel in einem der klassischen Einführungswerke zum Sprachtesten gibt einen anschaulichen Überblick über die wichtigsten Arten von Validität inklusive Beispielen aus der Testpraxis und einer Checkliste, mit welchen Forschungsdesigns und -instrumenten diese Validitätsarten untersucht und evaluiert werden können. Sehr gut geeignet für eine erste terminologische Orientierung, auch wenn sich die Ansätze in der Validierungsforschung seit dieser Publikation natürlich weiterentwickelt und zum Teil geändert haben.

      Carr, N.T. (2011): „Validation“. In: Carr, N.T.: Designing and Analyzing Language. Oxford Handbooks for Language Teachers. Oxford: Oxford University Press, 151–163. Dieses Kapitel beschreibt kurz die historische Entwicklung des Validitätsbegriffs und stellt gängige Validierungskonzepte dar. Der Fokus liegt dabei auf den derzeit vor allem im amerikanischen Raum prominenten Validitätsargumenten, wie dem Assessment Use-Argument von Bachman und Palmer (2010), und der Wichtigkeit von Entscheidungen und Konsequenzen, die aus Testergebnissen resultieren und daher nach Ansicht vieler TestforscherInnen Teil der Testvalidierung sein sollen.

      Fulcher, G. (2010): „Introducing Reliability“. In: Fulcher, G.: Practical Language Testing. London: Hodder Education, 46–59. Dieser Beitrag in einem weiteren aktuellen und praktisch orientierten Standardwerk zur Einführung in das Sprachtesten bietet eine kurze Einführung in das Konzept der Reliabilität und die wichtigsten Faktoren, die diese beeinflussen können. Das Kapitel beinhaltet außerdem eine einfache Anleitung zur händischen Errechnung von Reliabilitätskoeffizienten. Weitere Kapitel im Buch orientieren sich an einzelnen Stadien der Testerstellung und geben einen hilfreichen Einblick in zentrale Überlegungen bei jeder dieser Phasen.

      Lewkowicz, J. (2000): „Authenticity in Language Testing: Some Outstanding Questions“. In: Language Testing 17 (1), 43–64. Ein komprimierter und leicht verständlicher Überblick zum Thema Authentizität im Fremdsprachenlehren und -testen, inklusive historischem Abriss über die Entwicklung des Konzepts seit den 1970er Jahren.

      5. Die Erstellung von Testaufgaben: Der TestentwicklungszyklusTestentwicklungszyklus

      Kathrin Eberharter, Benjamin Kremmel, Matthias Zehentner

       Kann-Beschreibungen

      Ich kann

       verschiedene Testzwecke nennen und erklären.

       die Bedeutung der Konstruktdefinition in einem Testentwicklungszyklus erläutern.

       die unterschiedlichen Bereiche von Testspezifikationen beschreiben und deren Bedeutung erläutern.

       Evaluierung, Prototypisierung und Pilotierung unterscheiden.

       Standard-Setting und Benchmarking sowie ihre jeweiligen Anwendungsbereiche erklären.

      Die Erstellung eines Tests kann in drei wesentliche Arbeitsschritte unterteilt werden (vgl. Bachman & Palmer 1996; McNamara 2000):

       Entwurf

       Operationalisierung

       Durchführung.

      In der Entwurfphase werden der TestzweckTestzweck, die Zielgruppe, das TestkonstruktKonstrukt und die zu testenden Domänen der zielsprachlichen Verwendung definiert und beschrieben. Die Operationalisierungsphase besteht aus zwei Schritten: Zunächst wird der Test in seiner Gesamtheit definiert und die Formate der einzusetzenden Testaufgaben werden innerhalb der einzelnen Testteile durch die Erstellung von TestspezifikationenTestspezifikationen festgelegt. Anschließend werden die Testaufgaben auf Basis der Testspezifikationen erstellt. In der letzten Phase wird ein Test – im Idealfall nach einer Erprobung (PrototypisierungPilotierung) und Pilotierung respektive FeldtestungFeldtestung – tatsächlich durchgeführt.

      Auf den ersten Blick mag dieser Entwicklungsprozess Testentwicklung ist nicht linear, sondern ein sich ständig wiederholender Zyklus.linear erscheinen. In der Tat bietet aber jede Durchführung eines Tests wertvolle Rückschlüsse für die ersten beiden Phasen und generiert empirische Daten, die zur Validierung des Tests genutzt werden können. Aus diesem Grund spricht man in der Testerstellung von Testentwicklungszyklen, deren Phasen sich wiederholen und immer wieder zu Überarbeitungen aller Aspekte eines Tests führen können.

      Abb. 1: Testentwicklungszyklus adaptiert nach Fulcher (2010, 94)

      Im folgenden Kapitel sollen basierend auf Fulcher (2010) die einzelnen Phasen eines TestentwicklungszyklusTestentwicklungszyklus vorgestellt und näher beschrieben werden (s. Abb. 1).

      5.1 TestzweckTestzweck

      Der Testzweck, also die Antwort auf die Frage, warum СКАЧАТЬ