Bei der DOMC (Foster & Miller (2009)) wird nach der Fragestellung bzw. dem Aufgabenstamm nur eine der möglichen Alternativen dargeboten und die Testperson muss entscheiden, ob diese richtig oder falsch ist. Gegebenenfalls wird die Testung weiterer Alternativen veranlasst und solange fortgesetzt, bis die Testperson die korrekte Alternative mit "richtig" beantwortet oder einen Fehler macht.
Die Aufgabe ist nur dann richtig beantwortet, wenn die Testperson die korrekte Alternative als richtige identifiziert. Wird die korrekte Alternative als falsch oder ein Distraktor als richtig angegeben, ist die Aufgabe falsch beantwortet. Die Position der korrekten Alternative wird nach Zufall bestimmt. Die Aufgaben wurden hier in Form vom Übungsaufgaben mit Feedback konzipiert und enden spätestens bei einem Fehler oder, wenn die korrekte Antwortoption gefunden wurde. Diese Vorgehensweise unterscheidet sich etwas von der rein diagnostischen Variante. Bei dieser wird mit Wahrscheinlichkeit p=0.5 auch dann noch eine Alternative dargeboten, wenn die korrekte Alternative bereits gefunden oder ein Fehler gemacht wurde, um keine Hinweise darauf zu liefern, wie viele mögliche Alternativen einer Aufgabe jeweils zu Grunde liegen.
Das Verfahren führt generell, insbesondere hier, dazu, dass im Durchschnitt weniger Alternativen als bei einer klassischen MC-Aufgabe in Augenschein genommen werden müssen und so ein wenig Testzeit eingespart wird.
Meiner Meinung nach ist die DOMC nur für true-answer-questions geeignet.
Aufgabenbeispiele zum Ausprobieren
- Aufgabe anwählen und vollständig bearbeiten!
- Danach kann die bearbeitete Aufgabe erneut oder eine andere Aufgabe angewählt werden.
- Niemals mehrere Aufgaben gleichzeitig bearbeiten.
Discrete-Option Multiple-Choice stellt eine neuere spezielle Variante der klassischen MC-Aufgabe dar und wurde bisher selten untersucht. Foster & Miller (2009) vermuten Vorteile der diagnostischen Variante von DOMC in einer geringeren Anfälligkeit im Hinblick auf Testbetrug (Abschreiben) und Testwiseness und konnten einige Belege anführen, dass Studierende dies auch so sehen. Die Aufgaben einschließlich korrekter Lösungen lassen sich nicht mehr so einfach kopieren und weiter verbreiten. Es ist nahezu unmöglich, eine bekannte Teststrategie anzuwenden, welche die einzelnen Alternativen gegeneinander abwägt und hierbei vornehmlich formale Kriterien heranzieht, um auch bei fachlicher Unwissenheit oder Halbwissen die korrekte Lösung zu erzielen. Auf diese Weise soll DOMC die Konstrukt irrelevante Varianz in den Testwerten verringern. Experimenten der Autoren zufolge, fielen die Testergebnisse bei DOMC ca. 10% niedriger aus als bei klassischem MC. Außerdem führte DOMC im Vergleich zu traditionellem MC zu einer Testzeitersparnis von ca. 10%. Umfangreiche Studien von Kingston et al. 2012 bestätigen die Ergebnisse von Foster & Miller insofern, als auch sie konsistent geringere Erfolgquoten für DOMC feststellen, die ihrer Ansicht nach zum Teil auch auf die Unmöglichkeit von DOMC zurückgehen, eine schon beantwortete Aufgabe zu revidieren. Allerdings ließen sich in beiden Studien keine klaren Unterschiede beider MC-Methoden im Bezug auf die Trennschärfen belegen. Kingston et al. (2012) kommen zu dem Ergebnis, dass MC und DOMC ähnliche Reliabilitäten erzielen und auch Ähnliches messen, konnten aber keinen Nachweis dafür erbringen, DOMC reduziere die konstruktirrelevante Varianz.
Eine erst kürzlich von Willing (2013) veröffentlichte Dissertation ergab beim Vergleich DOMC gegenüber klassischem MC:
DOMC...
- entschärfte die Wirkung von Testwiseness bei schlecht konstruierten Items (mit etlichen Testwisenesshinweisen),
- führte zu höheren Schwierigkeitsindices, deren Höhe von der Sequenzierungsposition der korrekten Antwort (schwerer, wenn später) und des attraktivstes Distraktors (schwer, wenn vor korrekter Antwort) abhängen,
- benötigte deutlich weniger Testbearbeitungszeit,
- erzielte vergleichbare Trennschärfen, Reliabilität und Validität,
- erfüllte aus Sicht der Probanden einige positivere pädagogische Wirkungen,
wurde aber eindeutig weniger präferiert und machte weniger Spaß.Rein diagnostische Argumente haben weniger Gewicht, wenn der konstruktive Lerner Übungsaufgaben bearbeiten soll, um sein Wissen zu überprüfen und aus Fehlern hinzuzulernen. Ich vermute allerdings, dass DOMC gegenüber der klassischen MC-Form für Übungszwecke weniger geeignet ist. Einer Befragung von Foster & Miller sowie Willing (2013) zufolge, präferierten Studierende eher die traditionellen MC-Aufgaben.
Den größten Nachteil von DOMC sehe ich darin, die Fülle möglicherer MC-Aufgaben auf das "true answer format" einzuschränken. Hierbei können nur solche Alternativen zum Einsatz kommen, welche bezogen auf die Fragestellung im Aufgabenstamm eindeutig richtig oder falsch sind. Damit entfällt praktisch die Anwendung anspruchsvoller Aufgaben des Typs "best answer form". Rückmeldungen im Anschluss an die Aufgabenbearbeitung führen gelegentlich zu Verständnisschwierigkeiten, da in der Aufgabenbesprechung die Bekanntheit der Alternativen nicht vorausgesetzt werden kann. Ein Überfliegen einiger meiner MC-Aufgabensammlungen ergab, dass nur ein relativ geringer Anteil der von mir konstruierten MC-Aufgaben sich zwanglos in ein DOMC- Fomat übertragen lässt.
Foster, D. & Miller, H.L. (2009). A new format for multiple-choice testing: Discrete-Option Multiple-Choice. Results from early studies. Psychology Science Quarterly, 51 (4), 355-369.
Foster, D. (2010). Advantages and Advice: Using DOMC. Exam Innovations, Inc. Online verfügbar
Kingston, N.M., Tiemann, G. C., Miller, H. L. & Foster, D. (2012). An analysis of the discrete-option multiple choice item type. Psychological Test and Assessment Modeling, 54 (1), 3-19.
Willing, D. (2013). Discrete-Option Multiple-Choice: Evaluating the Psychometric Properties of a New Method of Knowledge Assessment.
Heinrich-Heine-Universität Düsseldorf
URL: http://docserv.uni-duesseldorf.de/servlets/DocumentServlet?id=27633
URN (NBN): urn:nbn:de:hbz:061-20131113-093502-8