B. Jacobs, Bildungswissenschaften der Universität des Saarlandes
Version vom 8.9.2014
Ergebnisse zum frei verfügbaren Onlinetest ZRF_20

Der ZRF_20_<=5 [Ursprungsversion] steht seit dem 6.12.2013 als frei verfügbarer Online-Konzentrationstests im Internet. Ziel dieser Freigabe war es, das Testkonzept zu demonstrieren und interessierten Teilnehmern eine Testdurchführung mit Einschätzung Ihrer Konzentrationsleistung zu ermöglichen.

Nach der Testbearbeitung ermittelt das Programm das Testergebnis und bietet einen Vergleich mit den Testresultaten einer Studierendenstichprobe an. Diese Rückmeldung gibt meiner Meinung nach eine relativ solide - wenngleich natürlich nicht völlig befriedigende - Orientierung für Studierende. 

Auf eine der Testung vorausgehende Registrierung wurde verzichtet, weil solche Registrierungen etliche Personen abschrecken und darüber hinaus keine systematische  Interneterhebung geplant war. Mittlerweile liegen etliche Daten zur Online-Version des ZRF_20  vor, die auf Testungen mir unbekannter Personen basieren. Gespeichert wurden lediglich Datum, Uhrzeit und Testergebnis, ansonsten aber keinerlei Informationen darüber, wer den Test beantwortet hat. Die Auswertung solcher Daten ist natürlich nicht unproblematisch und weit entfernt von einer soliden Datenerhebung, ermöglicht meiner Meinung aber nach dennoch einige verwertbare Ergebnisse, insbesondere dann, wenn man sie mit den Resultaten kontrollierter Studien vergleichen kann.

Aus den verfügbaren Daten ist abzuleiten, dass täglich relativ wenige (ca. 0 bis 4 Personen) den Test bearbeiteten, manche dieser Personen den Test aber mehrmals sehr zügig wiederholten. Zunächst geht es darum, deskriptive Daten für die erste Beantwortung des Tests zu erheben. Aufgrund von Plausibilitätsüberlegungen wurden alle Testergebnisse, die unmittelbare Wiederholungen nahelegten, ausgeschlossen. Ca. 4 Prozent aller verbliebenen Testergebnisse erwiesen sich als klare Ausreißer oder basierten auf weniger als 3 korrekten Durchgängen, weswegen diese ebenfalls aus dem Datensatz genommen wurden. Grundsätzlich unkontrolliert verbleiben jedoch die Ergebnisse solcher Personen, die etwa den Test mit großem zeitlichem Abstand (etwa mindestens einen Tag später) wiederholt haben sollten. Solche Ergebnisse werden hier wie unabhängige Daten gewertet. Die Abbildung 1 zeigt die Häufigkeitsverteilung von ca. 500 Datensätzen

Abbildung 1: Bisherige Ergebnisse der unkontrollierten Onlinetestung des ZRF_20 [Ursprungsversion] nach einigen Korrekturen.

Mittelwert und Standardabweichung entsprechen recht gut den bisherigen besser kontrollierten Studien (Jacobs 2013a,b 2014a,b), während die Verteilung etwas stärker von der NV abweicht.

Testwiederholungen und Übungswirkungen.

Insgesamt hatten 177 "Personen" den Test ZRF_20_<=5 in sehr geringem Zeitabstand - meist praktisch unmittelbar nach der Testbeendigung und Rückmeldung - mindestens einmal wiederholt. Wie aus den gespeicherten Uhrzeiten ableitbar, dauerte die Pause zwischen den Testungen in der Regel weniger als eine Minute. Es ist jedoch nicht ausschließen, dass manche Personen an mehreren Tagen die Seite aufsuchten und eine weitere Testserie inszenierten, sodass sich die 177 Wiederholungsepisoden auf weniger als 177 Personen beziehen. Solche mehrmaligen Testserien einer Person können hier definitiv nicht ausgeschlossen werden und es bleibt zu hoffen, dass es sich dabei vornehmlich um Ausnahmen handelt. Der Einfachheit halber wird jede Testserie aus rein pragmatischen Darstellungsgründen einer anderen Person zugeschrieben und alle Datensätze notgedrungen als unabhängig betrachtet.

Abgesehen von dieser methodischen Schwäche lässt das Vorgehen gegenüber einer konventionellen Studie jedoch den Vorteil erkennen, dass die Teilnehmer ohne jede Veranlassung von außen, eher intrinsisch motiviert mit vollen Engagement die Testungen durchführten sowie ein offensichtliches Interesse daran zeigten, ihre Leistungen zu verbessern. Insofern lassen sich so Übungseffekte durch Testwiederholungen recht gut überprüfen.

Die Anzahl der unmittelbar nacheinender bearbeiteten Tests schwankt pro Person von 2 bis 42. Da 177 Personen den Test mindestens 2 mal durchführten, und nur noch 35 Personen übrig blieben, die den Test mindestens 10 mal bearbeiteten, fällt das N mit wachsender Anzahl der Testdurchgänge ab.

Die Korrelation zwischen erster und zweiter Messung liefert eine brauchbare Schätzung für die Zuverlässigkeit des ZRF_20_<=5 und erzielt mit r = .86 eine Größenordnung in dem erwarteten Ausmaß.

Tabelle 1 zeigt die  Korrelationen der unmittelbar benachbarten Zeitpunkte sowie die Zusammenhänge zwischen erster Messung und den nachfolgenden 9 Testdurchführungen. Man könnte diese Korrelationen als Zuverlässigkeitskoeffizienten im Sinne von Ultrakurzzeitretestreliabilitäten deuten.

Tabelle 1: Korrelationen

a) zwischen benachbarten Testzeitpunkten
b) zwischen erster und den folgenden Testzeitpunkten

N   177   113    88   75    52    46    43    38    35
a)  1,2   2,3   3,4   4,5   5,6   6,7   7,8   8,9   9,10 
r   .86   .91   .85   .75   .79   .84   .78   .75   .72
     
b)  1,2   1,3   1,4   1,5   1,6   1,7   1,8   1,9   1,10
r   .86   .82   .85   .74   .73   .86   .72   .75   .79     

Da in Tabelle 1 die Stichprobengröße mit zunehmendem Messzeitpunkt geringer ausfällt, mag man die Vergleichbarkeit der Koeffizienten in Frage stellen. Die Ergebnisse sehen aber sehr ähnlich aus, wenn man stets dieselben Probanden in die Analyse aufnimmt - nämlich nur die 35 Personen, welche mindestens 10 Testwiederholungen nacheinander durchgeführt hatten. Die Korrelationen der unmittelbar benachbarten Testzeitpunkte schwanken dort zwischen .86 und .73 und die Zusammenhänge zwischen erster Messung und den nachfolgenden 9 Messungen zwischen  .86 und .67.

Bisherige Untersuchungen (Jacobs 2014b ,2014a) sprechen für eine relativ geringe Übungsanfälligkeit des ZRF_20. In diesen Studien reichte eine Testung nicht aus, um bei der zweiten Messung einen Übungseffekt nachzuweisen. 

Tabelle 2: Bearbeitungszeiten des ZRF_20_<=5 für die erste und unmittelbar folgende zweite Messung

Messung     M      s     t(176)  pz     d 
    1      20,56   4,61
                          3.78   <001  .15
    2      19.86   4,68    

Wie aus Tabelle 2 hervorgeht, führt die Testwiederholung zwar - begünstigt durch die hohe Korrelationen beider Messungen sowie das hohe N von 177 - zu einer signifikanten Verbesserung der Konzentrationsleistung, der Zeitvorteil entspricht aber aber einer ziemlich unbedeutenden Effektstärke von d=.15 und bestätigt damit die bisherigen Erfahrungen.

88 Probanden bearbeiteten den ZRF_20 mindestens 4 mal und erlauben so eine zuverlässige Prüfung, ob mehr Übung den Übungseffekt deutlich verbessert.  Die Varianzanalyse mit Messwiederholung erbrachte keinen signifikanten Haupteffekt der Testzeitpunkte, aber einen signifikanten Unterschied zwischen erster und vierter Messung (p=.013), dessen praktische Bedeutsamkeit allerdings ebenfalls im Bereich sehr geringer Effektstärke (d=.13) anzusiedeln ist.

Tabelle 3: Bearbeitungszeiten des ZRF_20_<=5 für 4 aufeinander folgende Testungen (N=88)

Messung    M      s     
    1      19.42   3.89                    
    2      18.96   4,47    
    3      19.01   4.14
    4      18.91   3.68 

Die Befunde bestätigen die Ergebnisse von Jacobs 2014a insofern, als auch dort mehrfache Testungen notwendig waren, um einen Übungseffekt zu bewirken. Ein Vergleich von Tabelle 2 und 3 deutet bereits an, insbesondere Personen mit hoher Konzentrationsleistung hätten von sich aus mehrfache Versuche unternommen. Diese Vermutung wird auch dadurch bestätigt, wenn man nur die 35 Personen heranzieht, die den ZRF_20 mindestens 10 mal bearbeitet hatten.

Wie aus Abbildung 2 hervorgeht, schwanken die Testmittelwerte über die 10 Testungen relativ unsystematisch zwischen 17.8 und 17.4 und lassen bei allen möglichen Mittelwertsvergleichen keinen einzigen signifikanten Unterschied erkennen.

Abbildung 2.

          Hinweis: Als Reliabilität wurde .86 eingesetzt.

In der Studie von Jacobs (2014a) bewirkten 11 Testungen einen gegenüber der Kontrollgruppe zwar zuverlässigen, wenngleich relativ mäßigen, Übungseffekt von ca. d=.50 Effektstärke. Dort waren die Übungen aber über eine Woche verteilt worden. Außerdem profitierten vornehmlich Studierende mit anfänglich eher schwachen Konzentrationsleistungen von den Übungen. Hier traten überwiegende nur die besonders konzentrationsstarken Studierenden zu mehrfachen Übungen an. Nach der Testung erhielten diese häufig die Rückmeldung, dass sie zu den Besten gehörten, was ihre Leistungsmotivation höchstwahrscheinlich beflügelte. Sie waren aber offenbar objektiv schon an ihrer Leistungsgrenze angekommen.

Abbildung 3:

Abbildung 3 veranschaulischt die Testergebnisse von außerordentlich hoch motivierten, sehr konzentrationsstarken Testpersonen in dem Bemühen, ihre Leistungsgrenzen auszuloten.

Schlussbemerkung

Eingedenk der methodischen Schwäche erbrachte die Analyse Ergebnisse hoher Plausibilität, die eine hohe Vergleichbarkeit zu  bisher kontrollierten Studien aufweisen und die diagnostische Nützlichkeit des ZRF_20 unterstützen. 


Die obigen Ausführungen beziehen sich auf die alte Version des ZRF_20. Dort wurden 5 Testdurchgänge verlangt, aber nur korrekte Durchgänge gewertet

Die neue Version des ZRF_20

Die ungeordneten Zahlen 1 bis 20 möglichst schnell in aufsteigender Reihenfolge anklicken
ZRF_20_5 Es wird solange getestet, bis 5 korrekte Durchgänge erzielt werden, die dann gewertet werden.
ZRF_20_5
in englisch

Literatur:

Jacobs, B. (2013). Erprobung zweier Online-Konzentrationstests mit Zahlen an Studierenden des Lehramts.
http://bildungswissenschaften.uni-saarland.de/personal/jacobs/diagnostik/tests/konzentration/konzentrationstests.html

Jacobs, B. (2013b). Ähnlichkeit zwischen Zahlen-Verbindungs-Test (ZVT) und Zahlenreihenfolgetest_20 (ZRF_20).
http://bildungswissenschaften.uni-saarland.de/personal/jacobs/diagnostik/tests/konzentration/zrf_20_vs_zvt.html

Jacobs, B. (2014a): Analyse von Testgütekriterien und Übungseffekten zweier Online-Konzentrationstests.
URN: urn:nbn:de:bsz:291-psydok-49678
URL: http://psydok.sulb.uni-saarland.de/volltexte/2014/4967/

Jacobs, B. (2014b). Konzentrationstests durch Ordnen der zufällig angeordneten ersten 20 Zahlen oder Buchstaben
http://bildungswissenschaften.uni-saarland.de/personal/jacobs/diagnostik/tests/konzentration/zrf_und_brf/zrf_und_brf.html
http://bildungswissenschaften.uni-saarland.de/personal/jacobs/diagnostik/tests/konzentration/zrf_und_brf/zrf_und_brf.pdf

created 8.9.2014; last update 10.92014: B. Jacobs, b.jacobs@mx.uni-saarland.de