Answer Until Correct (AUC) bzw. Multiple-Try-Feedback (MTF)Unter unvollständigen Rückmeldungen verstehe ich ein Feedback, was im Fehlerfalle die korrekte Lösung vorenthält bzw. den korrekten Lösungsweg nicht hinreichend expliziert. Im Falle von Knowledge of Result (KOR) erfährt der Lerner die korrekte Antwort dann überhaupt nicht mehr und es wird zur nächsten Aufgabe übergegangen. Diese Art des Feedbacks hat sich aber als ziemlich unwirksam erwiesen bzw. bringt nicht mehr als Fragen ohne Rückmeldung. Wird im Falle eines Fehlers die korrekte Antwort nicht präsentiert, so sollten pädagogischen Bemühungen darauf abzielen, den Lerner dazu zu bewegen, die korrekte Antwort selbst zu finden.
Die simpelste Methode einer so verstandenen unvollständigen Rückmeldung ist "Answer until correct" (AUC), auch Multiple-Try-Feedback (MTF) genannt. Der Lerner erhält lediglich Knowledge of Result (KOR = "richtig oder falsch") und muss im Extremfall sooft einen erneuten Lösungsversuch unternehmen, bis er die korrekte Lösung findet. Die Anzahl der möglichen Versuche sollte im Normalfall allerdings auf ein vernünftiges Maß (2 bis höchstens 3) eingeschränkt werden. Insofern ist der Begriff Multiple-Try-Feedback vermutlich sinnvoller. Zudem muss sicher gestellt sein, dass die korrekte Lösung in jedem Falle dargeboten wird. Ein erneuter Lösungsversuch macht nur dann Sinn, wenn
der Lerner mit einer gewissen Wahrscheinlichkeit die Lösung finden kann, z.B. über einige relevante alternative Lösungshypothesen verfügt, Flüchtigkeitsfehler selbst erkennt usw. Man muss dem Lerner eine eigenständige Lösung quasi zutrauen, sofern er sich anstrengt.
die Lösungsversuche auf einsichtigen Suchprozessen basieren und fruchtbare Denkarbeit beinhalten. Rein taktierende Beantwortung etwa bei MC-aufgaben führt dazu, dass durch zunehmenden Ausschluss der als falsch rückgemeldeten Antworten die korrekte Lösung letztlich zwingend übrig bleibt. Liegt diesem Vorgehen aber zielloses Herumprobieren (nach dem Zufallsprinzip) zugrunde, ist es frustrierend und kostet nur Zeit.
die notwendige Lernzeit zur Lösungsfindung akzeptabel ist. Die zusätzlich erforderliche Lernzeit muss gegenüber der direkten Darbietung der korrekten Antwort irgendeinen Vorteil, etwa eine höhere Lerneinsicht oder eine tiefere Verarbeitung, erbringen.
Die förderlichen Anwendungsbedingungen von MTF lassen sich theoretisch abstrakt recht einleuchtend auf einen Satz reduzieren: "Kann der Lerner die Lösung in zumutbarer Zeit ziemlich sicher selbst herausfinden und verstehen, dann sollte er selbst einen weiteren Lösungsversuch unternehmen."
Es gibt nur wenige empirische Arbeiten zur Lernwirksamkeit von Answer Until Correct. Morrison et al 1995, die in ihrer Untersuchung signifikante Lernvorteile von KCR gegenüber AUC feststellten, sprechen von einer geteilten Befundlage aus früheren Ergebnissen: "Results form prior research on AUC or "multiple try" feedback have been mixed..." Diese Einschätzung hängt aber davon ab, mit was man MTF vergleicht.
Clariana (1993) analysierte 30 Studien, in denen verschiedene Feedbacktypen sowie Aufgabenstellungen ohne Feedback gegeneinander getestet wurden. Die 12 Vergleichsstudien "MTF gegen No Feedback" erbrachten relativ konsistente Vorteile für MTF. "The median effect size for MTF compared to no feedback based on 16 effect size measures from 12 studies ... was 0.56." (Clariana 1993, S.69 bzw. Clariana (2000). Immerhin wurde so die Lernwirksamkeit von Feedback (MTF) gegenüber keinem Feedback erneut eindrucksvoll bestätigt. Die Studien, welche MTF mit KCR verglichen, lieferten recht inkonsistente Befunde, die über alle Vergleichsstudien gemittelt auf einen Nulleffekt hindeuten. "The median effect size for multiple-try feedback compared to KCR based on 14 effect sizes from 11 studies was close to no difference." (Clariana 1993, S.69). Die 4 Vergleichsstudien "MTF gegen KOR" führten zu divergierenden Ergebnissen. Theoretisch hätte man ganz klar erwarten müssen, dass die Rückmeldung der korrekten Antwort, die sowohl in KCR (Simple Try Feedback (STF)) wie auch in MTF gewährt wird, die Lernleistung mehr verbessert als die Rückmeldung "richtig/falsch" (KR oder KOR), welche die korrekte Antwort im Fehlerfalle offen lässt. Warum sich dies hier nicht zeigte, bleibt mir unverständlich.
MTF und KCR (=STF) sind im Prinzip recht ähnlich. Der Ablauf bei korrekter Antwort ist identisch, so dass wesentliche Leistungsunterschiede zwischen beiden Feedbackformen überhaupt nur dann zu erwarten sind, wenn Fehler gemacht werden. Wenn STF und MTF im Mittel vieler Untersuchungen auch keine Unterschiede aufwiesen, so wäre es dennoch denkbar, dass bestimmte Personengruppen von MTF profitierten. Clariana (1993. S.71) listet mehrere Untersuchungen auf, die den Feedbackmethodenvergleich getrennt für Personen mit hohem und niedrigem Vorwissen durchführten. Etliche Studien gaben Anlass für die theoretisch durchaus verständliche Vermutung einer Interaktion zwischen Feedbacktypen und Vorwissen in dem Sinne, dass KCR bei geringem Vorwissen und MTF bei hohem Vorwissen günstiger seien. Clariana (1999) versuchte nun diese Interaktion durch die Zusammenfassung aller dieser Untersuchungen in einer Metaanalyse mit insgesamt 321 Vpn zu bestätigen. Die statistische Analyse, auf die nachfolgend eingegangen wird, basierte dabei auf den Posttestergebnissen. Nachfolgende Abbildung 1 zeigt demgegenüber die Lernzuwächse von der Übung zum Posttest, aus der die Interaktion zwischen den Feedbacktypen (MTF und KCR) und dem Vorwissen (niedrig, hoch) aber auch erkennbar ist.
Abbildung 1
Es zeigt sich, dass Lernende mit hohem Vorwissen von Multiple-Try-Feedback (MTF) mehr profitieren als von direktem Knowledge of Correct Result (KCR), während dies für Lernende mit geringem Vorwissen nicht der Fall ist. Während kein Haupteffekt Feedbacktypen festgestellt werden konnte, war die Interaktion zwischen Feedbacktypen und Vorwissen mit F(1, 305) = 5.55, p=.02. auf dem 5% Niveau signifikant. Der Unterschied zwischen den Feedbackmethoden bei hohem Vorwissen entspricht einer relativ mäßigen Effektstärke von d =.39, was in etwa einem Lerngewinn von ca. 5% gelöster Aufgaben gleichkommt. Da Lernende mit hohem Wissen in der Übung nicht so viele Fehler machen, der Unterschied zwischen MTF und STF aber nur im Fehlerfalle wirksam werden kann, darf auch kein sehr großer Effekt erwartet werden. Obgleich die Studie von Clariana 321 Vpn umfasst und in theoretisch erwarteter Richtung liegt, ist die Stabilität dieser Interaktion schwer zuverlässig einschätzen.
Aus Abbildung 1 geht im übrigen sehr schön hervor, dass die Studenten mit geringem Wissen von Übungen mit Feedback insgesamt am meisten profitieren, was wiederum die These bestätigt, dass wir vornehmlich aus unseren Fehlern lernen. Im Gegensatz zu den Lernzuwächsen erzielten die Studenten mit hohem Vorwissen hochsignifikant bessere Posttestergebnisse als die Studenten mit geringem Vorwissen. (siehe dazu die Figur 1 aus Clariana 2000). Ihre Lernzuwächse waren u.a. deshalb deutlich geringer, weil man bei weniger Fehlern in der Übung auch weniger an Lerngewinn zulegen kann. Ein potentiell höherer Lernerfolg wurde aber nicht durch einen möglichen Ceiling-Effekt verhindert.
Weitere Klarheit in die uneinheitlichen Befunde bringen möglicherweise Ergebnisse, die darauf hindeuten, dass KCR bei identischen Aufgaben in Übung und Posttest MTF eher überlegen ist. Bei anspruchsvolleren Aufgabenstellungen im Posttest schneidet MTF hingegen meist genauso gut und gelegentlich sogar etwas besser ab als KCR. Wie Clariana (2000) weiter ausführt, bevorzugen Lernende mit hohem Vorwissen und hoher Fähigkeit eher eigene weitere Lösungsversuche, während Lernende mit geringem Vorwissen durch MTF überwiegend frustriert werden. Insofern ist auch das Ergebnis der Council Bluffs Community Schools Web Site (1997, http://www.council-bluffs.k12.ia.us/tech_report.htm [27.10.2000]) plausibel: "Low-ability students in grade 11 receiving KCR (knowledge-of-correct response) feedback during social studies reading comprehension practice, significantly out achieved students receiving AUC feedback. (AUC = Answer Until Correct)".
Insgesamt scheint sich die Lage theoretisch insofern aufzuhellen, dass erneute eigenständige Versuche, die Lösung selbst zu finden, gegenüber der direkten Darbietung der korrekten Lösung manchmal eine tiefere Bearbeitung des Wissen versprechen könnten, wenn eher anspruchsvolle Fragen gestellt werden und die Lernenden über hinreichende Fähigkeiten sowie ein solides Vorwissen verfügen. Bei geringem Vorwissen, geringer Fähigkeit, einer hohen Fehlerquote, sowie relativ einfachen Lehrzielen dürfte eher KCR zu empfehlen sein, da es lernökonomischer und weniger frustrationsanfällig ist. In diesem Zusammenhang erinnere ich auch an die Diskussion zum optimalen Zeitpunkt für Aufgabenstellungen. Liegen sehr geringe Kenntnisse vor, erscheint es ratsam, Fragen zu stellen und ohne Beantwortungsaufforderung an den Lernenden direkt die korrekte Antwort zu präsentieren.
Clariana (1999,2000) verweist auf Untersuchungen und legt selbst Daten vor, die belegen, dass die Reaktionen unter einer MTF-Bedingung einen zunehmend destruktiven Charakter annehmen können, weil manche Lernenden im Verlauf der Übung immer weniger ernsthafte Versuche unternehmen, sondern Beliebiges (Unsinn) als Antwort eingeben, nur um den Ablauf zu beschleunigen. Das ist aber zumindest aus der Sicht derer, die viele Fehler machen durchaus verständlich, weil es keinen Sinn macht, mehrmals eine Aufgabe zu beantworten, die man definitiv nicht beantworten kann. In häufiger Ermangelung des relevanten diagnostischen Wissens und zur Verhinderung unnötiger Frustration erweist es sich vermutlich am ehesten als praktikabel, bei Multiple-Try-Aufgaben dem Lerner selbst die Entscheidung in die Hand zu legen, ob er einen weiteren Versuch unternehmen oder gleich die Lösung einsehen will. Diese Freiheit fordert vom Lerner allerdings eine gewisse Selbstdisziplin, zu der man ihn aber auch programmbedingt langfristig nicht zwingen kann. Clariana (1999) schlägt für CBT-Programme vor, mit MTF zu beginnen, aber ab einer bestimmten Fehlerquote zu KCR überzugehen. Das nachfolgende Beispiel erfordert weniger Aufwand.
Beispiel für eine praktikable Simple Multiple Choice Aufgabe mit MTF (Multiple-Try-Feedback)
1.) Insbesondere Lernende mit geringen Kenntnissen vom zu bearbeitenden Lehrstoff profitieren von mehreren Lösungsversuchen. 2.) Lernende werden im Verlauf der Übung zunehmend frustriert, wenn ihnen nur ein Lösungsversuch gewährt wird. 3.) Multiple-Try-Feedback erzielte im Vergleich zu keinem Feedback einen Lernvorteil, der einer mittleren Effektstärke entspricht. 4.) Bei identischen Aufgaben in Übung und Posttest hat sich Multiple-Try-Feedback gegenüber Simple-Try-Feedback als überlegen erwiesen. 5.) Im Durchschnitt der Untersuchungen führte Multiple-Try-Feedback zu einem höheren Lernerfolg als Simple-Try-Feedback. Hinweis:
Der Lerner muss in jedem Falle einen Beantwortungsversuch unternehmen. Ist die Antwort falsch, dann kann er durch Anklicken auf das Button 'Korrekte Lösung?' die korrekte Antwort direkt in Erfahrung bringen. Er kann aber statt dessen auch beliebig viele weitere Lösungsversuche unternehmen.
[Zur Aufgabenkonstruktion siehe Jacobs (>=1998) Übungsaufgaben mit antwortabhängiger Rückmeldung]Abschließend komme ich zu dem Ergebnis, dass die Leistungsunterschiede zwischen Multiple-Try-Feedback und Simple-Try-Feedback im Durchschnitt nicht so bedeutsam sind und die Hoffnung, Lernen deutlich zu verbessern, indem man einfach nur die Eigeninitiative durch einen erneuten Lösungsversuch einfordert, in vielen Fällen unbegründet ist und nicht überschätzt werden sollte. Nur für leistungsfähige Schüler mit solidem Vorwissen könnten sich weitere Versuche ohne jede Hilfestellung gelegentlich lohnen. Hierbei spielt wahrscheinlich auch das Lehrziel eine entscheidende Rolle, weil einige Ergebnisse darauf hindeuten,.." that answer-until-correct feedback may be more effective for higher order learning than for lower level processing." (Mason & Bruning (>=1999); siehe dort auch näheres zu einem Entscheidungsmodell für die Auswahl bestimmter Feedbackarten in Abhängigkeit von Fähigkeit, Lehrzielniveau, Timing und Vorwissen.). Bei etwas anspruchsvolleren Aufgaben (z.B. Bruchrechnen) besteht aber auch die Gefahr, durch die Aufforderung zu einem erneuten Lösungsversuch statt direkter Präsentation einer elaborierter Rückmeldung lediglich die erforderliche Übungszeit, nicht aber die Leistung zu steigern, was letztlich wie bei Gannon (1999) eine geringere Lerneffizienz nach sich zieht. Siehe dazu auch: Dempsey, Litchfield & Driscoll (1993)
Ungeachtet der direkten Auswirkungen von Multiple-Try-Feedback auf aktuelle Lernergebnisse, müssen Schüler aber schon aus motivationalen Gründen sowie zur Förderung von Selbständigkeit auch die Erfahrung machen, dass Fehler selbst behoben werden können und interessiertes, anspruchsvolles Lernen ein Mindestmaß von Ausdauer angesichts von Fehlschlägen verlangt.
Literatur
Clariana, R. B. (1993). A review of multiple-try feedback in traditional and computer-based instruction. Journal of Computer-Based Instruction, 20 (3), 67-74.
Clariana, R, B. (1999). CBT design: A feedback achievement treatment interaction. Twenty-first Annual Proceedings of Selected Research Presentations of the Association for Educational Communications and Technology, 22, 87-92.
Clariana, R. B (2000) Feedback in Computer-Assisted Learning. Netg White Papers URL::http://www.netg.com/research/clarianawp.htm [10.11.2000]
Clariana, R. B., & Lee, D. (2001). Recognition and recall study tasks with feedback. Educational Technology Research and Development, 49 (3), 23-35.
Dempsey, J., Driscoll, M.P., & Swindell, L.K. (1993). Text-based feedback. In: Dempsey, J., & Sales, G. (Eds.), Interactive instruction and feedback. Englewood, NJ: Educational Technology, 21-54.
Gannon, M. G. (1999). Computer-generated versus learner-generated feedback in solving mathematics problems. Dissertation Abstracts International Section A: Humanities & Social Sciences, Vol 60(3-A), Sep 1999. pp. 0646.
Jacobs, B. (>=1998). Übungsaufgaben mit antwortabhängiger Rückmeldung. URL: http://www.phil.uni-sb.de/FR/Medienzentrum/verweise/psych/aufgaben/adaptiv.html
Mason, B.J & Bruning, R. (>=1999). Providing Feedback in Computer-based Instruction: What the Research Tells Us. Center for Instructional Innovation University of Nebraska-Lincoln URL: http://dwb.unl.edu/Edit/MB/MasonBruning.html [22.11.2000]
Morrison, G.R., Ross, S. M.., Gopalakrishnan, M. & Casey, J. (1995). The Effects of Feedback and Incentives on Achievement in Computer-Based Instruction. Contemporary Educational Psychology, 20, 32-50.
entnommen aus: ...wwwartikel/feedback/selbstaktiv.htm
created 2.1.2001; last update 4.11.2003; Bernhard Jacobs, b.jacobs@mx.uni-saarland.de