Hauptziel der Studie war die Überprüfung der von Jacobs (2013) geäußerten  Vermutung, der ZRF_20 weise eine hohe Ähnlichkeit mit dem Zahlen-Verbindungs-Test (Oswald & Roth 1987) auf, ohne auf dessen theoretisch fundierte Aufgabenschwierigkeiten Bezug zu nehmen. Neben deskriptiven Ergebnissen beider Tests, die im Falle des ZRF_20 eine Replikation der Befunde und eine  erneute Überprüfung der Reliabilität anstrebte, sollte die konvergente Validität des ZRF_20 über die bisher bekannten Validitätshinweise hinaus gefestigt werden.

An der Studie nahmen Lehramtsstudierende aus Seminaren des Verfassers im SS 13 teil. Den Studierenden wurde nahegelegt, an einer Onlineerhebung teilzunehmen, um so Daten zur Verfügung zu stellen, die innerhalb der Seminare für didaktische Zwecke Verwendung finden würden. Das Durchschnittsalter betrug 22,9 Jahre.  62% der Testpersonen waren Frauen. Nach einer Inspektion der Daten verblieben 55 Probanden, deren Ergebnisse verwertbar waren. Eine Ausreißeranalyse mit Tukey Boxplot ergab einen hochsignifikanten Ausreißer beim ZVT, der aus dem Datensatz genommen wurde. Je drei ziemlich extreme Probanden in ZRF_20 und ZVT verblieben jedoch in der Analyse, weil ihre Bearbeitungszeiten zwar überdurchschnittlich lang, aber eben nicht unplausibel erschienen. Aus diesem Grunde wird bei der Berechnung von Korrelationen (Pearson- oder PM-Korrelation) stets zusätzlich die Spearman-Rangkorrelation verwendet, um die verzerrende Wirkung möglicher Ausreißer zu begrenzen. 

ZRF_20 [Zahlenreihenfolge: die Zahlen 1 bis 20 in die richtige Reihenfolge bringen]

Der ZRF_20 wurde bei Jacobs (2013) näher beschrieben. Wie anhand der Abbildung 1 leicht nachvollziehbar, sollte die Testperson, beginnend bei 1 nacheinander die korrekte Zahlenreihenfolge anklicken, wobei angeklickte Zahlen nicht markiert werden. In Gegensatz zum ZVT erhält die Testperson keinerlei Hinweis, wo die Eins beginnt und die letzte Zahl endet. Insgesamt mussten 5 Durchgänge absolviert werden.

Abbildung 1: Aufgabenbeispiel des ZRF_20

Als Konzentrationsmaße wurden erhoben.

• ZRF_20_zeit: Durchschnittliche Bearbeitungszeit der korrekt gelösten Aufgaben in Sekunden.

• ZRF_20_leistung: Prozentsatz der korrekten Aufgaben (bzw. Durchgänge), der theoretisch nur die Werte 20,40,60,80 oder 100 annehmen kann.

Die in Tabelle 1 dargestellten deskriptiven Ergebnisse der hier erfassten Studierendenstichprobe entsprechen weitgehend den bei Jacobs (2013) gefundenen Ergebnissen.

Tabelle 1: Ergebnisse zum ZRF_20 [20 Zahlen in korrekter Reihenfolge anklicken]  (N=55)

                  a     M        s       Md     Schiefe  Kurtosis

ZRF_20_zeit      .90    20.5     6.2     19.4      1.5     3.2
ZRF_20_leistung  .31    91.3    16.2    100      - 2.3     6.1

Berücksichtigt man nur die 40 Probanden, welche den ZRF_20 fehlerfrei beantwortet hatten, so beträgt a =.92. Die in Tabelle 1 angegebene Reliabilität des ZRF_20_zeit  bezieht sich auf alle Testpersonen und diese fällt geringfügig auf a=.90 ab. Insgesamt sinkt die Reliabilität entsprechend der Anzahl korrekter Lösungen und kann etwa bei nur noch 2 korrekten Durchgängen auf .82 abfallen. Wie bei Jacobs (2013) gibt es keinen Tradeoff zwischen Bearbeitungsgeschwindigkeit und Bearbeitungsgenauigkeit, da ZRF_20_zeit und ZRF_20_leistung nach PM-Korrelation -.08 und nach Spearman -.07 miteinander korrelieren. Die Zuverlässigkeit des ZRF_20_leistung fällt auch hier viel zu gering aus und kann daher nicht als vertrauenswürdiges Konzentrationsmaß verwendet werden.

Computerversion des ZVT

Die Testmanuale des Zahlen-Verbindungs-Tests (ZVT) (Oswald & Roth,1987) wurden als eigene Computerversionen konzipiert. Statt wie beim Original die Zahlen mit einem Bleistift zu verbinden, sollte die Testperson hier die Zahlen in aufsteigender Reihenfolge anklicken. Die Übungsbeispiele und Testanweisungen waren entsprechend den Anforderungen an die Computerversion abgeändert worden. Abbildung 2 zeigt den ersten Testdurchgang des ZVT in der Computerfassung. Die Testperson sollte bei dem grün umrandeten blauen Button beginnen und gemäß der Zahlenreihenfolge alle Zahlen bis 90 anklicken. Beim Anklicken auf den rot umrandeten blauen Button erschien unmittelbar der nächste Bearbeitungsdurchgang.

Abbildung 2: Aufgabenbeispiel des ZVT in der Computerfassung

Die Testperson konnte das Anklicken des jeweiligen Buttons wahrnehmen. Jedoch folgte bei korrekter Anwahl keinerlei Rückmeldung, sodass sich die Testperson anlog der Vorgehensweise im ZRF_20 stets die letzte angeklickte Zahl merken musste. Nur im Fehlerfalle änderte der falsch angeklickte Button seine Hintergrundfarbe, musste daraufhin erneut angeklickt werden, wodurch der Buttonhintergrund sich wieder blau einfärbte. Danach konnte die korrekte Reihenfolge wieder aufgenommen und fortgesetzt werden. Durch diese Korrekturprozedur verursacht der Fehler zusätzliche Bearbeitungszeit. Bearbeitungsgenauigkeit und Bearbeitungszeit sind somit in gewisser Weise konfundiert. Zu hastiges unkonzentriertes Vorgehen kann mehrere Fehler nach sich ziehen und die Orientierung des Korrekturmodus erschweren. Bei mehr als 5 Fehlern in einem Durchgang bricht das Programm die Bearbeitung automatisch ab und eine Konzentrationsmessung findet dann nicht statt. Als entscheidender Konzentrationswert des ZVT gilt die Bearbeitungsgeschwindigkeit. Die Testwerte der Bearbeitungsgeschwindigkeit und der Fehler ergeben sich jeweils als Durchschnitt aus allen 4 Durchgängen.

Tabelle 2: Ergebnisse zum ZVT-Computerfassung (N=54)

                  a      M       s       Md     Schiefe  Kurtosis

ZVT - Zeit       .97    78.9    24,2     72.5      1.5     2.5
ZVT - Fehler     .72     0.4     0.6      0        2.5     7.2

Zur Messung der Reliabilität des ZVT_zeit wurden alle Testpersonen herangezogen, unabhängig davon, ob und wie viele Fehler sie aufwiesen. Mit einem Cronbachs a von .97 erzielte die ZVT-Computerfassung eine hervorragende Konsistenz. Bearbeitungsgeschwindigkeit und Fehler korrelieren nach PM-Korrelation .51 ** und nach Spearman .22 ns miteinander. Hohe Bearbeitungsgeschwindigkeit geht somit eindeutig nicht auf Kosten von mehr Fehler. Vielmehr belasten Fehler eher die Bearbeitungszeit, was zum Teil auf das Fehlerhandling zurück geht. Wie aus der Tabelle 2 hervorgeht, hält sich die Anzahl der Fehler aber in Grenzen. Trotz der zumindest für Gruppenniveau ansprechenden Reliabilität des ZVT-Fehler erscheint dieses Maß wegen der schwachen Differenzierung (siehe Median = 0 Fehler) zur Messung der Konzentration nicht geeignet.

Zusammenhang zwischen ZRF_20 und ZVT

Die hohe Ähnlichkeit der Anforderungen von ZRF_20 und ZVT ließ einen hohen positiven Zusammenhang der Bearbeitungsgeschwindigkeiten beider Konzentrationstests vermuten. Denn stets sollte beginnend bei 1 die jeweilige Nachfolgezahl möglichst schnell gefunden und markiert werden. Das Scatterplot in Abbildung 3 bestätigt diese Vermutung

Abbildung 3: Zusammenhang zwischen ZVT und ZRF_20
                      - durchschnittliche Bearbeitungszeiten pro Durchgang in Sekunden -

Die Korrelation zwischen ZRF_20_zeit und ZVT_zeit beträgt r =  .91  ( r_s=.81) [N=54].  Nach doppelter Minderungskorrektur steigt die Pearsonkorrelation von .91 auf .97 und ist so theoretisch nicht mehr sehr weit von 1 entfernt. Zur zusätzlichen Überprüfung wurden die Zeiten beider Konzentrationstests Ln-logarithmiert, was zu einer Korrelation von r= .87 führte. Die Spearman Rangkorrelation von .81 repräsentiert darüber hinaus eine recht  konservative Schätzung des Zusammenhangs und bestätigt auch bei sehr kritischer statistischer Einschätzung die Hypothese sehr ähnlicher Anforderungen. Während der ZVT eine gewisse Systematik in der Anordnung der Zahlen erkennen lässt, beruht der ZVT_20 stets auf Zufallsanordnungen aller Zahlen. Den Ergebnissen zufolge erfasst das unterschiedliche Konstruktionsprinzip offenbar dieselbe Konzentrationseigenschaft, vermutlich nur auf unterschiedlichen Schwierigkeitsstufen. Die Fehlerwerte beider Konzentrationsleistungen sind unabhängig voneinander. Denn ZVT-Fehler und ZRF_20_leistung korrelieren r= 0 (r_s= 0.02) [N=54] miteinander und der fehlende Zusammenhang bestätigt somit auch die unzureichende Brauchbarkeit der beiden Konzentrationsleistungsmaße.

Zusammenhang der Konzentrationsmaße mit dem Abiturnotendurchschnitt

Bei Jacobs (2013) ergaben sich erwartungskonforme Zusammenhänge zwischen ZRF_20 und der Abiturnote, wobei aber nur die zweifelhafte Konzentrationsleistung und nicht die reliabel erfasste Bearbeitungsgeschwindigkeit ein signifikantes Ergebnis lieferte. Tabelle 3 zeigt die entsprechenden Korrelationen dieser Studie für beide Konzentrationstests.

Tabelle 3. Korrelationen der Konzentrationstests mit dem Abiturnotendurchschnitt (N=54-55)

                  Bearbeitungszeit  Leistung/Fehler    
                     ZRF_20  ZVT   ZRF_20  ZVT

   Pearson r     .26*      .31*      .17        .16
Spearman r_s    .22        .30*      .13        .14

 * einseitig auf dem 5% signifikant

Verwendet man als weitere Kontrolle die Ln-logarithmierten Zeiten, so ergeben sich sowohl beim ZRF_20 wie beim ZVT signifikante Zusammenhänge mit dem Abiturnotendurchschnitt in dem Sinne, dass schwächere Abiturdurchschnittnoten mit längeren Bearbeitungszeiten einhergehen. Ingesamt steuern die Ergebnisse zu den Bearbeitungsgeschwindigkeiten  gewisse Argumente für die hoch plausible Vermutung bei, eine hohe Konzentrationsfähigkeit begünstige gute schulische Leistungen.

Zusammenfassung und Diskussion

Die Studie hat etliche deskriptive Ergebnisse und die Reliabilität des ZRF_20 aus einer früheren Studie von Jacobs erfolgreich repliziert, die Ähnlichkeit zum ZVT durch die hohe Korrelation der Bearbeitungsgeschwindigkeiten beider Konzentrationstests eindrucksvoll belegt sowie einen signifikanten Zusammenhang zwischen den Konzentrationstests und dem Abiturnotendurchschnitt festgestellt. Damit lieferte die Untersuchung weitere Belege für die Nützlichkeit des ZRF_20 als Online-Kurztest zur Messung der Konzentration.

Als ZVT kam eine eigens konstruierte Computerversion zum Einsatz. Die berichteten Ergebnisse können nicht einfach auf die Papierversion übertragen werden. Auch wenn die Computerversion mit der originalen Papierfassung höchstwahrscheinlich sehr hoch korreliert, so sind dennoch einige Unterschiede zwischen beiden Varianten zu vermuten. Bei der hier realisierten Computerfassung des ZVT sollte man vielleicht das Fehlerhandling radikal vereinfachen, sodass  Fehler die Bearbeitungszeit nur noch minimal beeinflussen können. Ein Vergleich der hier dargestellten deskriptiven Daten mit vorhandenen Normwerten des ZVT erscheint äußerst problematisch und führt zu falschen Interpretationen, da sich die Vorgehensweise bei der Computerversion erheblich vom Original in der Papier- und Bleistift-Variante unterscheidet. Die Bearbeitung der Computerversion für die untersuchte Stichprobe erforderte z.B. gemessen an den von Oswald und Roth (1987, S.54) ermittelten Normen im Durchschnitt deutlich mehr Zeit.

Bezogen auf die reine Testzeit erforderte die  ZVT-Computerversion ca. 3 mal so viel Testzeit wie der ZRF_20, erzielte dafür aber eine höhere Reliabilität. Um die Reliabilität des ZRF_20 für alle Personen hinreichend hoch zu halten, wäre es erwägenswert, den Tests insofern abzuändern, dass für jede Testperson 5 fehlerfreie Durchgänge zu fordern wären, was dann aber die durchschnittliche Bearbeitungszeit etwas erhöhen würde. Alternativ dazu könnte man aber auch die ZVT-Computerversion auf 2 Durchgänge beschränken, also quasi halbieren, und erhielte dann immer noch eine Reliabilität, die mindestens so hoch wie die des ZRF_20 ausfiele. So betrachtet, erbringt der ZRF_20 im Vergleich zum ZVT keinen deutlichen Zeitgewinn mehr und da der ZVT  und der ZRF_20 in sehr hohem Maße Ähnliches messen, liefert der ZRF_20 auch keinen weiteren Informationsgewinn. Der Vorteil des ZRF_20 liegt vornehmlich in der bequemen Nutzung für Forschungszwecke via Internet. Möglicherweise ist der ZRF_20 im Vergleich zum ZVT resistenter gegenüber gezielter Übung, da er auf einer ausschließlich auf Zufall basierten Anordnung der Zahlen beruht.  

Literatur

Jacobs, B. (2013) Erprobung zweier Online-Konzentrationstests mit Zahlen an 
   Studierenden des Lehramts.
   http://bildungswissenschaften.uni-saarland.de/personal/jacobs/diagnostik/tests/konzentration/konzentrationstests.html

Oswald W, Roth E (1987). Der Zahlen-Verbindungs-Test (ZVT) –Handanweisung. 
   Göttingen, Hogrefe.

---

created 4.6.2013 B. Jacobs, b.jacobs@mx-uni.saarland.de