Abstract
Es werden 2 Konzentrationstests vorgestellt, die via WWW zum Einsatz kommen können und kaum länger als 5 Minuten Bearbeitungszeit beanspruchen. Auf der Basis einer Stichprobe von ca. 100 Studierenden werden erste deskriptive Ergebnisse und Testgütekriterien mitgeteilt. Hierbei erwiesen sich die Reliabilitäten des Arbeitstempos als sehr zufriedenstellend, die der Konzentrationsleistungen hingegen als sehr gemischt. Beide Tests erbrachten ansprechende Zusammenhänge mit 2 weiteren Zahlenkonzentrationstests und liefern so gewisse Validitätshinweise. Einer der Tests weist einen deutlichen Zusammenhang mit dem Abiturnotendurchschnitt auf, wobei sowohl die Arbeitsgeschwindigkeit wie die Konzentrationsleistung eigenständige Anteile dazu beitragen. Die Tests ermöglichen Studierenden eine grobe Einordnung ihres speziellen Konzentrationsvermögens und könnten insbesondere für Forschungszwecke im Rahmen von Onlinestudien nützlich sein.
Einleitung und Zielsetzung
"Konzentrationstests setzen sich aus einfachen Aufgaben zusammen, die prinzipiell von jedem hirnorganisch gesunden Menschen gelöst werden können und nur geringe Anforderungen an die Wahrnehmung, das Gedächtnis, die Lernfähigkeit, die Problemlösefähigkeit und die Intelligenz stellen" (Westhoff & Hagemeister, 2005). Hohe Konzentration zeichnet sich dadurch aus, entsprechende Aufgaben relativ ausdauernd möglichst zügig und zugleich Fehler frei zu bearbeiten. Zu den wichtigsten Konzentrationsmaßen zählen das Arbeitstempo oder die Bearbeitungsgeschwindigkeit und die Anzahl der Fehler bzw. der Prozentsatz der korrekt bearbeiteten Aufgaben. Prinzipiell erfüllen viele unterschiedlicher Anforderungen an den verschiedensten Reizen (z.B. Zahlen, Symbolen, Bildern usw.) die oben angegebene Definition von Konzentration und bieten so vielfältige Möglichkeiten, spezielle Konzentrationstests zu konstruieren.
Ziel vorliegender Studie war es, zwei informelle Computertestsentwürfe von Jacobs als direkt nutzbare Konzentrationstests zu erweitern. Zugleich sollten einige Daten erhoben werden, um die Testgütekriterien einschätzen zu können sowie ansatzweise Vergleichsmöglichkeiten für Studierende zu schaffen. So betrachtet, werte ich die Studie als Pilotstudie, um Anhaltspunkte für die prinzipielle Nützlichkeit der Verfahren sowie den potenziellen Einsatz in der Forschung zu gewinnen.
Beide Tests verlangen das Erkennen oder Operieren mit Zahlen. Der erste Test wurde um das Jahr 2000 entwickelt. Hierbei geht es darum, aus 100 zweistelligen Zahlen möglichst schnell solche Zahlen zu identifizieren, deren erste Ziffer gerade und deren zweite Ziffer ungerade ist. Der Test diente als Demonstrationsvehikel für einen möglichen Online-Konzentrationstest. Er wurde gelegentlich auch als didaktisches Tool im Rahmen eines Seminars genutzt, z.B. um Trainingseffekte zu analysieren. Der zweite Test ist neueren Datums und entstand aus Vorversuchen des Autors, 12 in einer Reihe aufgelistete zufällig angeordnete Zahlen in der richtigen Reihenfolge anzuklicken. Er wurde im Weiteren auf 20 Zahlen erweitert.Um Validitätsstudien an bereits eingesetzten Konzentrationstests durchführen zu können, griff der Autor auf 2 Verfahren zurück, die er bereits im Ansatz aus Interesse in eine direkt via WWW realisierbare Computerfassung überführt hatte, weil diese so im Rahmen einer Onlinestudie Verwendung finden konnten. Hierzu gehört eine Variante auf der Basis des KLT Konzentrations-Leistungs-Tests von Düker und Lienert (2001*) sowie ein bei Manthei (2004) beschriebenes Verfahren. Bei diesen Tests wurde jedoch nur das Konstruktionsprinzip übernommen und die sonstigen Festlegungen (z.B. genaue Aufgabencharakteristika bzw. Aufgabenanzahl) den eigenen Wünschen angepasst. Diese Tests sind folglich nicht eins zu eins übertragen worden.
Probanden und Untersuchungsvorgehen
Kurzbeschreibung der TestsAls Probanden dienten Lehramtsstudierende der Universität des Saarlandes im WS 2012/2013, die bisherigen Erfahrungen nach zu ca. 2/3 weiblich und überwiegend um die 22 Jahre alt waren. Sie wurden entweder durch eine leistungsunabhängige Bonusregelung oder einen Arbeitsauftrag im Rahmen einer Lehrverpflichtung zur Teilnahme an den Tests bewegt. Etliche Gründe sprechen dafür, insgesamt eine annähernd repräsentative Stichprobe von Lehramtskandidaten der Universität des Saarlandes erfasst zu haben. Denn von ca. der Hälfte aller Probanden lagen Angaben zum Alter (M=22.02, s=2.9) und Geschlecht (33% männlich) vor, welche die bisherigen Erfahrungen voll bestätigten. Um die Testmotivation zu fördern, erhielten die Studierenden vor den Tests jeweils die Information, sie würden Rückmeldung zu ihren erzielten Leistungen erhalten. Dieses Feedback unmittelbar nach jedem Konzentrationstest enthielt lediglich die erzielten Leistungen (z.B. Testzeiten und Fehler) ohne jede Vergleichsmöglichkeit auf der Basis sozialer Normen.
Die Probanden bearbeiteten die Tests meistens zu Hause via Internet stets in der unten dargestellten, gleichen Reihenfolge.
Die restlichen Probanden absolviertem nur die neuen Konzentrationstests, ebenfalls zu Hause via Internet in der Reihenfolge GU und dann ZRF_20.
- GU = aus 100 zweistelligen Zahlen so schnell wie möglich, aber dennoch korrekt, diejenigen 25 Zahlen anklicken, deren erste Ziffer gerade und deren zweite Ziffer ungerade ist.
- KLT Konzentrations-Leistungs-Test von Düker und Lienert (2001*) in einer selbst relativ frei konstruierten Computerfassung.
- ZZ = Zahlen zählen; aus 200 einstelligen Zahlen alle Einser und Siebener zusammen zählen als Computerversion frei nach einer Beschreibung von Manthei (2004)
- ZRF_20 = Zahlenreihenfolge_20: die Zahlen 1 bis 20 in zufällig angeordneter Folge, beginnend bei 1 in aufsteigender Reihenfolge anklicken.
Zunächst werden die beiden neuen Konzentrationstests etwas näher beschrieben und deren Ergebnisse dargestellt. Das exakte Vorgehen ist dem Quellcode der Programme zu entnehmen. Dieser ist allerdings nicht einfach zu verstehen, da er ad hoc entwickelt und ständig modifiziert wurde. Eine übersichtliche Dokumentation der Programme fehlt. Die Anzahl der Testpersonen beträgt bei den neuen Konzentrationstests mindestens 100, bei den sonstigen Tests um die 60. Bei einem Teil der Probanden waren weitere Daten verfügbar, die eine Berechnung von Zusammenhängen mit den Konzentrationstests erlaubten.
GU [Finde die Zahlen, deren erste Ziffer gerade und deren zweite Ziffer ungerade ist]
Der GU basiert auf einer alten Computerfassung von Jacobs 2002a und wurde lediglich im Design und der Testlänge leicht modifiziert. Der Test umfasst 3 Testdurchgänge, die jeweils 100 stets nach bestimmten Zufallsprinzipien erzeugte zweistellige Zahlen darbieten. 25 Zahlen beginnen mit einer geraden und enden mit einer ungeraden Ziffer. Diese Zielzahlen befinden sich stets an Zufallspositionen und sollten vom Probanden so schnell wie möglich, aber dennoch korrekt mit linker Maustaste angeklickt werden. Die Zufallsprozeduren führen dazu, dass jeder Testdurchgang eine andere Zahlenpositionskonstellation und teilweise auch andere Zahlen enthält. Verschiedene Probanden erhalten somit nicht identische, sondern ähnliche Reizvorgaben. Vor der eigentlichen Testung bekam die Testperson eine genaue Instruktion zum Vorgehen. Dabei sah sie zur näheren Verdeutlichung auch den Teil eines Bildschirmausschnitt eines Aufgabenbeispiels analog Abbildung 1. Auf einen Probedurchgang wurde jedoch verzichtet. Es wurden keinerlei Hinweise gegeben, nach welcher Strategie die Testperson vorgehen sollte.
Abbildung 1 zeigt die bereits teilweise bearbeitete Reizvorlage eines Testdurchgangs für den Konzentrationstest GU. Die Testperson hat, unter der Annahme, sie bearbeite die Zahlen zeilenweise, vermutlich die ersten 5 Zeilen bearbeitet und hierbei Zahlen angeklickt, deren erste Ziffer gerade und deren zweite Ziffer ungerade ist. Die angeklickten Zahlen wurden markiert. Wie man erkennt, hat die Testperson auch einige Zahlen vergessen, z.B. die 29 in der ersten, die 43 und 21 in der zweiten Zeile.
Abbildung 1: Teilweise bearbeitetes Aufgabenbeispiel des GU-Konzentrationstests
Die Zeitmessung beginnt mit dem Erscheinen der Zahlen und endet beim Anklicken auf den Button "Bearbeitung bestätigen!" Danach folgt unmittelbar die nächste Reizvorgabe bzw. der nächste Durchgang.
Als Testmaße gelten
- GU_zeit: die durchschnittliche Bearbeitungszeit in Sekunden [=Arbeitstempo bzw. Bearbeitungsgeschwindigkeit]
- GU_leistung: der Prozentsatz der tatsächlich identifizierten Zielzahlen an allen vorhandenen Zielzahlen [= Konzentrationsleistung bzw. Sorgfalt]
- GU_Fehler: die durchschnittliche Anzahl der falsch angeklickten Zahlen.
8 Datensätze mussten wegen extrem schwacher Werte, offensichtlich fehlerhaften Eingaben oder partiellem Datenverlust aus der Analyse ausgeschlossen werden. Tabelle 1 und Abbildung 2 zeigen die wichtigsten Ergebnisse. Die Reliabilität der GU_zeit fällt mit a=.92 sehr zufriedenstellend aus. Die formal betrachtet relative schwache Zuverlässigkeit der GU_leistung von a= .62 geht vermutlich auf die geringere Streuung und den Ceilingeffekt zurück. Möglicherweise liefert GU_leistung dennoch einige über die Bearbeitungsgeschwindigkeit hinaus gehende diagnostisch relevante Erkenntnisse.
Tabelle 1: Ergebnisse zum GU [gerade-ungerade Zahlen anklicken] [N=103]
a M s Md Schiefe KurtosisGU_zeit: .92 96.9 22.29 93.3 .80 .41 GU_leistung .62 91.4 6.45 92 -1.22 1.8 GU_Fehler - .45 .77 .33Abbildung 2: Histogramm von GU_zeit und GU_leistung
GU_zeit
GU_leistung
Aus der insignifikanten Korrelation zwischen GU_zeit und GU_leistung von r=.075 lässt sich ableiten, schnelle Bearbeitungszeiten kämen nicht auf Kosten der Genauigkeit bzw. Sorgfalt zustande. Es handelt sich offenbar um unabhängige Konzentrationsmaße. Wie die Daten zu GU_Fehler in Tabelle 1 aufzeigen, wurden sehr wenige falsche Zahlen angeklickt, womit diesem Maß keinerlei diagnostische Relevanz zukommt. Um mögliche Trainingseffekte während der Testung zu erfassen, wurden für GU_zeit und GU_leistung Varianzanalysen mit den 3 Durchgängen als Messwiederholungsfaktor berechnet. Hierbei konnten keinerlei statistische signifikante Effekte festgestellt werden. Im Verlauf der Testung traten somit keine Verbesserungen auf, was natürlich nichts über die prinzipielle Trainierbarkeit der Aufgaben aussagt.
Denn Ergebnisse einer früheren, informellen Studie von Jacobs (2002b) deuten ziemlich klar in die Richtung, durch mehrfache Testung, verteilt über einige Tage, massive Zeitgewinne zu erzielen, während die Zuwächse im GU_leistung kaum noch Steigerungspotential besaßen.
ZRF_20 [Zahlenreihenfolge: die Zahlen 1 bis 20 in die richtige Reihenfolge bringen]
KLT [Konzentrations-Leistungs-Test frei nach Düker und Lienert ]Der ZRF_20 basiert auf der Weiterentwicklung einer früheren informellen Computerversion von Jacobs (ohne Datum). Dort sollte die Testperson die in einer Reihe zufällig angeordneten Zahlen von 1 bis 12 in der korrekten Reihefolge anklicken. In der hier veränderten Form werden 20 Zahlen in 4 Reihen dargeboten. Nach der Aufgabeninstruktion muss die Testperson zunächst ein Übungsbeispiel mit 8 Zahlen erfolgreich absolvieren, bevor der eigentliche Test stattfindet. Er umfasst insgesamt 5 Durchgänge.
Vor einer Aufgabenpräsentation (siehe Abbildung 3) wird der Proband kurz zuvor durch den schriftlichen Hinweis "--konzentrieren--" bzw. bei Audioverfügbarkeit zusätzlich durch ein akustisches Signal darüber informiert, dass die Aufgabendarbietung unmittelbar bevorsteht. Mit dem Erscheinen der Zahlen beginnt die ZeitmessungAbbildung 3: Aufgabenbeispiel des ZRF_20
Die Testperson sollte dann, beginnend bei 1 nacheinander die korrekte Zahlenreihenfolge anklicken, wobei angeklickte Zahlen nicht markiert werden. Mit dem Anklicken der Zahl 20 endet die Zeitmessung. Bei einem Fehler wird die Bearbeitung abgebrochen und eine neue Aufgabe dargeboten. Der ZRF_20 hat hohe Ähnlichkeit mit dem Zahlen-Verbindungs-Test (Oswald & Roth 1987), ohne auf dessen theoretisch fundierte Aufgabenschwierigkeiten Bezug zu nehmen (siehe Nachfolgeuntersuchung). Denn im ZRF_20 werden stets alle Zahlen nach Zufall angeordnet, so dass die Testpersonen streng genommen unterschiedliche Reizkonstellationen erhalten, die einer Zufallsauswahl aus dem Universum aller möglichen Zahlenanordnungen darstellen. Hierbei wurde unterstellt, die Aufgabenschwierigkeiten fielen im Mittel der Durchgänge annähernd vergleichbar aus.
Als Konzentrationsmaße wurden erhoben.
- ZRF_20_zeit: Durchschnittliche Bearbeitungszeit der korrekt gelösten Aufgaben in Sekunden
- ZRF_20_leistung: Prozentsatz der korrekten Aufgaben (bzw. Durchgänge), der theoretisch nur die Werte 20,40,60,80 oder 100 annehmen kann.
In die Zeitmessung gehen nur korrekt gelöste Aufgaben ein. Bei fehlerhafter Aufgabenbearbeitung stehen daher weniger Aufgaben für die Durchschnittsbildung der Arbeitsgeschwindigkeit zur Verfügung, was dann die Reliabilität für diese Person beeinträchtigt. Alternativ zu dieser Regelung hätte man auch festlegen können, jede Testperson müsse insgesamt 5 korrekte Durchgänge abliefern.
Eine Person musste wegen extremer Zeitüberschreitung aus dem Datensatz genommen werden.
Tabelle 2: Ergebnisse zum ZRF_20 [20 Zahlen in korrekter Reihenfolge anklicken] (N=108)
a M s Md Schiefe KurtosisZRF_20_zeit .89 20.9 4.5 20.6 .23 .27 ZRF_20_leistung .23 90.4 14.5 100 -1.46 1.59Wie aus Tabelle 2 erkennbar, bearbeiten die Probanden eine korrekt gelöste Aufgabe durchschnittlich in ca. 21 Sekunden. 90% aller Aufgaben wurden fehlerfrei gelöst.
Die ZRF_20_zeit folgt, augenscheinlich betrachtet, annähernd einer Normalverteilung
Abbildung 4: Histogramm zur Bearbeitungsgeschwindigkeit im ZRF_20
In die Berechnung der Reliabilität des ZRF_20_zeit [siehe Tabelle 2] gingen nur Studierende mit 100% korrekten Durchgängen ein (N=69). Mit einem a von .89 fällt die Reliabilität für die Bearbeitungszeit recht zufriedenstellend aus. Unter Einbeziehung aller verfügbaren Zeitdaten aus korrekt gelösten Aufgaben von insgesamt 91 Studierenden ergibt sich ein a von .85. Die Konzentrationsleistung ZRF_20_leistung erlaubt mit a =.23 hingegen keine zuverlässige Differenzierung der Personen. Das Ergebnis verwundert angesichts der geringen Streuung von ZRF_20_leistung nicht sonderlich. 64 % aller Studierenden hatten alle Aufgaben korrekt gelöst. Alle Studierenden hatten mindestens 2 der 5 Aufgaben gelöst, womit höchstens 3 Fehler (=40% richtig) auftreten konnten. Die Variationsbreite von 0 bis 3 Fehler erscheint zu gering, um eine brauchbare Personendifferenzierung zu ermöglichen.
Weil die ZRF_20_leistung aber die Reliabilitätsberechnung der ZRF_20_zeit beeinflusst, muss die Gesamtreliabilität etwas geringer eingeschätzt werden. Schätzungen auf Basis der Spearman-Brown-Formel führten zu dem Ergebnis, dass die Reliabilität von 5 korrekten Durchgängen bis zu einem richtigen Durchgang wie folgt abnimmt ( .89 .87 .83 .77 .63).
Die Konstruktion des hier verwandten KLT von Düker und Lienert basiert auf Beschreibungen des Konstruktionsprinzips einer mir nicht mehr erinnerbaren Quelle (Lehrbuch, Folie oder Sekundärliteratur). Auf die Sichtung des Tests einschließlich des Testmanuals wurde verzichtet, weil eine Eins zu Eins Übertragung der Papier- in die Computerfassung gar nicht beabsichtigt war. Die Vorgehensweise sei an einem Beispiel in Abbildung 5 illustriert. Die Testperson sieht zwei Reihen von Grundrechenaufgaben, wobei die Zahlen nur durch Plus oder Minus verbunden sind.
Abbildung 5: Aufgabenbeispiel für die hier verwendete KLT-variante
Ist das Ergebnis der oberen Zeile (Z1) größer als das Ergebnis der unteren Zeile (Z2), so muss die Differenz aus Z1-Z2 in das Antwortfeld geschrieben werden. Ist Z1-Z2 negativ, so muss die Addition Z1+Z2 eingegeben werden. Im obigen Beispiel ist somit die Zahl 9 ins Antwortfeld zu schreiben.
6+4+1 = 11
5+6-9 = 2
11-2= 9Alle Zahlen und Operatoren basieren auf der Generierung bestimmter Zufallszahlen oder selbst initiierter Regeln, so dass die Testung keine konstanten Aufgaben für alle Probanden beinhaltet. Der Cursor ist stets im Antwortfeld positioniert und verlangt nach Eingabe des Zahlenergebnisses die Taste Return (Enter) als Bestätigung. Daraufhin erscheint zugleich die nächste Aufgabe. Der KLT umfasst hier insgesamt 20 Aufgaben. Als Konzentrationsmaße gelten:
- KLT_zeit: die durchschnittliche Bearbeitungszeit pro Aufgabe
- KLT_leistung: der Prozentsatz der korrekten Lösungen
ZZ [Zahlenzählen: Aus 200 einstelligen Zahlen die Anzahl der Einser und Siebener zählen.]Zwei Probanden wurden wegen extrem schwacher Rechenleistung (unter 40% richtig), die höchstwahrscheinlich auf mangelndes Instruktionsverständnis verweist, aus dem Datensatz ausgeschlossen. Da keine einzelnen Aufgabenergebnisse gespeichert wurden, lässt sich die Reliabilität des KLT_leistung nicht direkt ermitteln. Um die Reliabilität der KLT_zeit feststellen zu können, wurden die Zeiten der beiden Testhälften erfasst. Beide Testhälften erzielten im Mittel hoch vergleichbare Zeiten. Die Split-half Reliabilität und Cronbachs Alpha ergaben beide einen Wert von .89 und belegen eine sehr zufriedenstellende Konsistenz für den KLT_zeit . Tabelle 3 stellt die deskriptiven Ergebnisse dar.
Tabelle 3: Ergebnisse zum KLT-Computerversion (N=61)
a M s Md Schiefe KurtosisKLT Zeit .89 13.26 4.76 11.7 1.1 1.48 KLT_leistung - 87 11.8 90 -1.1 1.02Im Durchschnitt benötigten die Testpersonen für die Bearbeitung einer Aufgabe 13.3 Sekunden. 87% aller Aufgaben waren richtig beantwortet worden. Die Korrelation zwischen KLT_zeit und KLT_leistung von -.20 ist nicht signifikant.
Die Idee des Zahlenzählens zur Messung der Konzentration habe ich aus einer Untersuchung von Manthei (2004) aufgegriffen und nach eigenen Wünschen modifiziert. Die Testperson sieht 200 einstellige Zahlen und soll die Anzahl aller Einser und Siebener angeben. Es wurde ihr empfohlen, erst alle Einser zu zählen, das Ergebnis einzugeben, anschließend die Prozedur mit den Siebener zu realisieren und danach sofort auf 'Antworten bestätigen' zu klicken. Die Zahlen selbst wurden nach Zufall erzeugt und generieren somit stets unterschiedliche Konstellationen. Insgesamt waren 4 Durchgänge zu absolvieren.
Abbildung 6: Aufgabenbeispiel für ZZ
Als Konzentrationsmaße gelten:Validitätsanalysen
- ZZ_zeit: durchschnittliche Bearbeitungszeit zur Erfassung der Anzahl aller Einser und Siebener
- ZZ_fehler: durchschnittlicher Betrag der Abweichung vom korrekten Ergebnis
Tabelle 4 Ergebnisse zum ZZ (N=64)
a M s Md Schiefe KurtosisZZ_zeit .92 59.3 14.45 56.3 1.10 2.2 ZZ-fehler: .47 .59 .60 .38 1.46 2.3Wie aus Tabelle 4 ersichtlich, benötigen die Probanden bei einer ziemlich geringen Fehlerquote im Durchschnitt ca. eine Minute pro Aufgabenbearbeitung.
Die Reliabilität (sowohl a wie auch Split-half der ZZ_zeit fällt mit .92 sehr zufriedenstellend aus, während die Messung der Konzentrationsleistung oder Sorgfalt via ZZ-fehler mit a = .47 und split-half =.44 naturgemäß schwächer einzuschätzen ist. Eine negative Korrelation von r= -.29 zwischen Fehler und Zeit deutet auf einen leichten Trade-off zwischen Genauigkeit und Schnelligkeit hin, wird jedoch nur signifikant, wenn man hier die statistisch fragwürdige Pearson-Korrelation heranzieht. Die Berechnung der Spearman Rangkorrelation führt zu einem insignifikanten Wert von -.19.