Prüfen mit Computer und Internet

Didaktik, Methodik und Organisation von E- Assessment

Während im Zuge der zunehmenden Verbreitung digitaler Lernmedien in der Vergangenheit vorwiegend Fragen der computerunterstützten Vermittlung von Wissen diskutiert wurden, stehen zunehmend auch Möglichkeiten einer Computerunterstützung in Wissens- und Kompetenzüberprüfung im Fokus. So genannte E-Assessment-Systeme stellen auf vielfältige Weise Funktionalität für die elektronische Vorbereitung, Durchführung und Nachbereitung von Lernfortschrittskontrollen bereit. Sie entlasten dadurch nicht nur Lehrende und Lernende, sondern machen einige Prüfungsformen überhaupt erst realisierbar. Sie können auch den Ablauf beschleunigen und damit Ergebnisse und Rückmeldungen an die Studierenden und Lehrenden ohne große Zeitverzögerungen ermöglichen. So können Lern- und Lehrmethoden rasch angepasst werden. Im vorliegenden Beitrag wird der Einsatz von E-Assessment-Systemen zur Wissens- und Kompetenzüberprüfung in Bezug auf didaktische, methodische, organisatorische und technische Aspekte thematisiert. Den Leserinnen und Lesern wird so ein Einstieg in die Thematik elektronisch unterstützter Prüfungen geboten, der zur eigenen Auseinandersetzung mit den Potenzialen und Fallstricken anregen soll.

Autoren: Jan P. Ehlers, Christian Guetl, Susan Höntzsch, Claus A. Usener, Susanne Gruttmann

Hintergrund

!

E-Assessment bezeichnet eine Lernfortschrittskontrolle, die mit Hilfe elektronischer Medien vorbereitet, durchgeführt und nachbereitet wird. Eine besondere Rolle spielt dabei die (teil-)automatische Durchführung von Korrekturen im Rahmen des technisch Möglichen (Eilers et al., 2008, 231-232).

Eine Überprüfung im Sinne einer Lernfortschrittskontrolle ist die Abfrage, Messung und Bewertung des internalisierten Wissens und Fähigkeiten sowie der Methodenbeherrschung und damit insgesamt der erworbenen Kompetenzen von Lernenden. Sie soll Informationen über den aktuellen Stand des Wissens und der Fähigkeiten liefern.

Zwei oft angeführte Zitate zeigen die Relevanz guter Prüfungen für das Lernen beziehungsweise die Lernenden: „Assessment drives Learning” (Wass et al., 2001) und „Students can escape bad teaching, but they can‘t escape bad assessment” (Boud, 1995).

E-Assessments haben, wie traditionelle papierbasierte Prüfungen, besondere Anforderungen in Bezug auf die Dimensionen Didaktik, Methodik und Organisation zu erfüllen (Gruttmann, 2010). Hinzu kommen die Dimension der technischen Unterstützung sowie die Rechtssicherheit (siehe Abbildung 1).

Abb. 1: Dimensionen des E-Assessments
Abb. 1: Dimensionen des E-Assessments

Die Didaktik thematisiert, welchen Einfluss unterschiedliche Lehr- und Lernziele auf den Prozess der Wissensvermittlung und damit auch auf Formen der Wissensüberprüfung in Lernfortschrittskontrollen haben. Aus methodischer Sicht sind verschiedene Aufgabentypen und Prüfungsarten zu berücksichtigen, die Gestaltungsanforderungen an den E-Assessment-Einsatz stellen. Organisatorische Fragestellungen betreffen vor allem die Rahmenbedingungen, die für die Vorbereitung, Durchführung und Nachbereitung eines E-Assessments in einer konkreten Veranstaltung zu schaffen sind. Durch den Einsatz geeigneter technischer Lösungen können neue Potenziale von Lernfortschrittskontrollen, zum Beispiel durch Einbinden von Medien, direktem Feedback, kollaborative Aspekte oder effizienter Kompetenzorientierung realisiert werden.

Dabei ist jedoch zwingend zu beachten, dass der Einsatz digitaler Medien nicht zum Selbstzweck erfolgt und die Qualität der Prüfungen erhalten (oder besser noch gesteigert) werden kann. Eine unreflektierte Übertragung traditioneller Verfahren zu Lernfortschrittskontrollen auf digitale Medien ist nicht zielführend. Vielmehr sind die bestehenden Ansätze hinsichtlich ihrer didaktischen, methodischen und organisatorischen Aspekte an die neuen technischen Rahmenbedingungen anzupassen. Die klassischen qualitativen Gütekriterien für Prüfungsverfahren, also die Validität, Objektivität und Reliabilität, sollten in jedem Fall erhalten bleiben (Gruttmann, 2010; Wannemacher, 2007, 427-440) und auch die „Nebengütekriterien“ wie zum Beispiel Testfairness, Transparenz, Unverfälschbarkeit oder Zumutbarkeit müssen beachtet werden (Ehlers et al., 2009, 24-36).

Den Leserinnen und Lesern soll in diesem Kapitel eine erste Orientierung zum Thema E- Assessment gegeben werden und gleichzeitig ein Prozess der kritischen Reflexion angestoßen werden. Denn nur wenn Prüfungen sorgfältig den Ansprüchen des Lehr-Lerngebiets und den pädagogischen Zielen angepasst werden, und sich ein tatsächlicher Mehrwert für Lernende und Lehrende ergibt, kann ein E-Assessment-Prozess langfristig Akzeptanz finden.

Didaktik: Formen und Funktionen von Prüfungen

Gemeinhin existieren verschiedene Formen von Prüfungen, die Unterschiede in Bezug auf ihre didaktische Ausrichtung und Zielstellung aufweisen. Auf ihre Art stellen sie jeweils eine Strategie dar, zu evaluieren, inwiefern die Ziele eines Lehr-Lernprozesses erreicht wurden und übernehmen dabei unterschiedliche Aufgaben: Förderung und Selektion (Tabelle 1).

Summatives Assessment (Assessment of Learning) Formatives Assessment (Assessment for Learning) Diagnostisches Assessment
Self-Assessment Eignungstest
Selektiver Charakter Fördernder Charakter Fördernder Charakter
Formale Qualifikation über das Erreichen eines Kompetenzniveaus Praktische Anwendung von Erlerntem; Evaluation von Lernfortschritten Eigendiagnostische Lernevaluation
Prüfung am Ende eines Lehr-Lernprozesses Aufgaben während des Lehr-Lernprozesses Prüfungen fortwährend (insb. zu Beginn) möglich
Teilnahme verpflichtend Teilnahme i. d. R. freiwillig Teilnahme i. d. R. freiwillig
Bewertung und Benotung durch Lehrende Korrektur und Bewertung durch Lehrende, i. d. R. keine Benotung i. d. R. keine Benotung und Korrektur

Tab. 1: Formen von Lernfortschrittskontrollen (Mischformen zwischen den genannten Kriterien können in der Praxis auftreten und auch sinnvoll sein)

Für Lernfortschrittskontrollen (LFK) mit selektivem Charakter hat sich die Bezeichnung summatives Assessment etabliert, da es sich oft um Prüfungen handelt, die eine Lernphase abschließen und das Erreichen des Lernziels überprüfen (siehe Abbildung 2). Summative Assessments fokussieren somit auf den Output des Lernens und belegen das Erreichen eines bestimmten Kompetenzniveaus (Reinmann, 2007; Winther, 2006). Dabei kann die Abfrage von Wissen, Fertigkeiten und Einstellungen passend im Rahmen des „Constructive Alignment“ (Biggs und Tang, 2011) mündlich, praktisch oder schriftlich erfolgen. Neben der reinen Entscheidung über das Bestehen der Prüfung wird hierbei oft noch eine (graduelle) Benotung erforderlich.

Lernfortschrittskontrollen mit förderndem Charakter werden als formatives Assessment bezeichnet. Die Lernfortschrittskontrollen sind in Form mehrerer kleiner oder kontinuierlicher Überprüfungen in den Lernprozess integriert und können die Konstruktion und Festigung von vermitteltem Wissen und Fähigkeiten unterstützen. Das regelmäßige, selbständige und oftmals freiwillige Bearbeiten von Arbeitsaufträgen und das damit einhergehende Feedback können den Lernenden helfen, eigene Fehler zu erkennen und in Zusammenhang mit seinem Lernverhalten zu bringen. Gerade bei E-Learning-Modulen stellen sie eine sehr häufige und wichtige Interaktionsform dar. Sie können ferner den Lehrenden dazu dienen, Lehr- und Lernprozesse zu überwachen und instruktionale Maßnahmen zur besseren Kompetenzentwicklung einzuleiten (Winther, 2006).

Beim formativen Assessment gibt es demzufolge mehrere Gelegenheiten zur Evaluation unter realistischeren Bedingungen, wodurch ein kontinuierlicher Überblick über Lernfortschritte gewonnen werden kann. Ein sehr typisches Beispiel hierfür sind die Progresstests, die einerseits den Lernenden regelmäßig individuelles Feedback über ihren Lernstand und -fortschritt und andererseits den Lehrenden Feedback über den Leistungsstand der gesamten Lerngruppe geben (Osterberg et al., 2006).

Abb. 2: Millers Kompetenzpyramide mit passenden Prüfungsformen (modifiziert nach Kopp 2006)
Abb. 2: Millers Kompetenzpyramide mit passenden Prüfungsformen (modifiziert nach Kopp 2006)

Neben summativen und formativen Assessments findet das diagnostische Assessment zunehmend Verbreitung. Unter diesem Begriff werden zwei unterschiedliche Formen zusammengefasst. Die erste Form des diagnostischen Assessments zielt durch lernbegleitende, freiwillige Lernfortschrittskontrollen auf eine Förderung der Lernenden ab. Dieser Form des diagnostischen Assessments sind zum Beispiel die so genannten Self-Assessments zuzuordnen, die zur fundierten Studienfachwahl beitragen sollen (Zimmerhofer et al., 2006). Die Teilnahme an Self-Assessments erfolgt in der Regel freiwillig und ist im Allgemeinen nicht an eine Bewertung oder Begutachtung durch eine Lehrperson geknüpft.

Die zweite Form besitzt einen eignungsdiagnostischen und damit gegebenenfalls einen selektiven Charakter. In diese Kategorie des diagnostischen Assessments fallen eignungsdiagnostische Tests, wie zum Beispiel das Auswahlverfahren der Hochschule (Schaper & Ehlers, 2011). Durch das Durchführen von initialen, also dem Lehr-Lernprozess vorangestellten Prüfungen wird beabsichtigt, ausgewogene Lerngruppen zu formen oder die Lehr-Lernprozesse an die Kenntnisse und Fähigkeiten der Lernenden anzupassen (Chalmers & McAusland, 2002).

Es existieren viele verschiedene Ansätze und Systeme zur Computerunterstützung von Lernfortschrittskontrollen. Im Regelfall basieren sie auf den traditionellen Formen des Assessments und sind ihnen in Bezug auf Didaktik, Methodik und Organisation sehr ähnlich. Studien zufolge ist es auch sinnvoll, neue elektronische Lehr- und Lernformen zunächst äquivalent zu gängigen traditionellen Methoden zu gestalten (Dyckhoff et al., 2008; Kleimann & Wannemacher, 2005). Jedoch wird vermehrt der Einsatz innovativer Konzepte und die Implikation einer neuen Lernkultur gefordert (Meder, 2006).

Mit dem Aufkommen von E-Assessment geht eine Diskussion einher, ob die neuen Medien als technologische Impulsgeber die Etablierung alternativer Prüfungsarten bewirken können (Bisovsky & Schaffert, 2009; Reinmann, 2007). Web-Didaktiker/innen entwickeln daher ständig neue Formen für die medial unterstützte Leistungserbringung und -beurteilung. Exemplarisch kann hier die Anfertigung von Facharbeiten in Form von online recherchierten Kollagen weltweit verfügbaren Wissens genannt werden oder online bereitgestellte Arbeitsmappen, die Dateien mit produkt- oder aufgabenorientierten Leistungen der Lernenden auf einer E-Learning- Plattform zusammenfassen (Meder, 2006). Ein innovativer und neuer Ansatz zur Überprüfung von Wissen und Fähigkeiten ist das automatische und kontinuierliche Assessment und Feedback von Aktivitäten und Interaktionen in simulierten Umgebungen von virtuellen Welten. Damit können Fähigkeiten trainiert und überprüft werden, wie zum Beispiel das richtige Verhalten bei Feueralarm, oder das Verständnis von physikalischen Gesetzmäßigkeiten, wie zum Beispiel die dynamischen Grundgesetze eines Pendels (Mader et al., 2013).

In der Praxis: Assessments in der Hochschule

In der universitären Prüfungspraxis kann man von einer Art „universitärem Dreikampf“ sprechen: Klausuren, Referate, Hausarbeiten (Reinmann, 2007). Hinzu kommen Prüfungsarten mit dem Ziel der Förderung von Studierenden wie obligatorische oder freiwillige Übungen und Praktika. Auch wenn noch lange nicht von einem flächendeckenden Einsatz von E-Assessment-Systemen in der Hochschule gesprochen werden kann, so ist zu bemerken, dass einige Formen von Lernfortschrittskontrollen überhaupt erst dank Computerunterstützung realisierbar sind und in den letzten Jahren die Bestrebungen zunehmen, E-Assessments an den meisten Hochschulen zu etablieren. Die Kontrolle formativer oder diagnostischer Assessments zur Lernförderung kann aufgrund beschränkter personeller Ressourcen in den Hochschulen oft nicht im wünschenswerten Umfang angeboten werden. Die Studierenden erhalten damit in vielen Fällen erst in der Abschlussprüfung ein Feedback zu ihrem persönlichen Lernstand. (Teil-)automatische Korrekturen entlasten den Lehrenden und eröffnen so die Möglichkeit, regelmäßige Lernfortschrittskontrollen wie zum Beispiel wöchentliche Übungsaufgaben anzubieten oder direkt im Unterricht zum Beispiel über Audience-Response-Systeme durchzuführen (Ehlers et al., 2010). Neben diesen organisatorischen Vorteilen eröffnet auch die Einbindung verschiedenartiger digitaler Medien wie Sound- und Filmdateien oder Simulationen Möglichkeiten für universitäre Prüfungen, die bei traditionellen Papierverfahren nicht realisierbar wären. Auch bei praktischen oder mündlichen Prüfungen erlaubt der Einsatz von Computern und Fragendatenbanken neben einer schnelleren Auswertung auch eine Standardisierung und Strukturierung der Einzelprüfungen.

Sowohl die Freie Universität Berlin als auch die Universität Bremen sind im deutschsprachigem Raum Vorreiter im Bereich elektronischer Klausuren in eigenen Prüfungscentern, während die Stiftung Tierärztliche Hochschule Hannover und die Medizinische Hochschule Hannover durch den Einkauf der Dienstleistung „E-Prüfung“ und Einsatz in bestehenden Hörsälen bereits über 200.000 Einzelprüfungen durchführen konnten.

Das so genannte E-Portfolio, das derzeit viel diskutiert wird, bezeichnet zum Beispiel netzbasierte Sammelmappen, die verschiedene digitale Medien und Services integrieren (Bisovsky & Schaffert, 2009). Lernende können ein E-Portfolio als digitalen Speicher der Artefakte kreieren und pflegen, die sie im Verlauf eines Kurses oder auch während des gesamten Lernprozesses erarbeiten. So kann die Kompetenzentwicklung in einer bestimmten Zeitspanne und für bestimmte Zwecke dokumentiert und veranschaulicht werden (Bisovsky & Schaffert, 2009).

Computerunterstützung in Prüfungsprozessen ermöglicht Lehrenden bzw. Prüfenden folglich eine Fülle neuer Varianten zur Ermittlung von Lernfortschritten. Doch unabhängig von Ausprägung und Ausgestaltung des Computereinsatzes ist festzuhalten, dass sich die elektronische Kontrolle und Beurteilung von Lernfortschritten langfristig nur dann als wirklich effektiv erweist, wenn sie für die speziellen Einsatzzwecke in den jeweiligen Veranstaltungen optimal konfiguriert ist und sich gut in die bestehende Bildungspraxis einpassen lässt (Eilers et al., 2008). Lehrende und Lernende müssen sich an die neuen Bedingungen gewöhnen, die Methoden und Konzepte müssen in angemessener Form auf elektronische Medien abgebildet werden und die notwendigen studienorganisatorischen, infrastrukturellen oder prüfungsrechtlichen Rahmenbedingungen müssen geschaffen werden.

!

Denken Sie an eine oder mehrere typische offene Prüfungsaufgaben in Ihrem Lehr-Lerngebiet. Überlegen Sie sich, wie diese Prüfungsaufgaben im Aufgabenformat Multiple-Choice abgebildet werden könnten. Überlegen Sie sich dafür jeweils einen geeigneten Aufgabentext (auch Stamm genannt) sowie eine angemessene Anzahl sinnvoller Antwortalternativen. Achten Sie dabei darauf, dass die Distraktoren, also die falschen Antworten, nicht zu offensichtlich sind und die richtigen Antworten nicht zu leicht zu erraten sind. Beachten Sie dabei auch, welche Wissensstufe (Taxonomie nach BLOOM) durch die Frage getestet wird. Durch das Einbringen von Fallbeschreibungen, Statistiken oder Bildern können Sie zum Beispiel auch Verständnis statt reinem Faktenwissen überprüfen.

Man unterscheidet im Allgemeinen summative, formative und diagnostische Assessments. Überlegen Sie sich zu jeder Form ein konkretes Prüfungsszenario, in dem Sie eine computerunterstützte Lernfortschrittskontrolle für sinnvoll erachten würden.

Abb. 3: Einfache Wissensabfrage mit Multiple-Choice
Abb. 3: Einfache Wissensabfrage mit Multiple-Choice

Methodik: Aufgabentypen in Lernfortschrittkontrollen

Lernfortschrittskontrollen bestehen im Allgemeinen aus einer oder mehreren Prüfungsaufgaben, die in konvergente und divergente Aufgabentypen unterteilt werden (McAlpine, 2002).

Konvergente Aufgaben haben eine genau definierte Lösungsmenge, sind daher in der Regel einfacher zu bewerten und ermöglichen ein exakteres Feedback. Multiple-Choice-Aufgaben sind vermutlich die bekanntesten Vertreter konvergenter Aufgaben. Bei diesem Format wird eine Frage zusammen mit Antworten präsentiert, aus denen die zu Prüfenden die richtigen Antworten wählen müssen (siehe Abbildung 3).

Auch Wahr-Falsch-Aufgaben, Zuordnungsaufgaben und einfache Lückentextaufgaben können den konvergenten Aufgabentypen zugeordnet werden (Richtlinien zur Aufgabenerstellung siehe auch Krebs, 2008 oder Stieler, 2011). Des Weiteren zählen auch bestimmte Klassen von Rechenaufgaben im Mathematikunterricht und in technischen Disziplinen zu diesem Aufgabentyp. Doch so einfach konvergente Aufgaben auszuwerten sind, so schwierig und zeitaufwendig kann es sein, qualitativ hochwertige Aufgaben zu entwickeln. Die Konstruktion von konvergenten Aufgaben erfordert vom Lehrenden ein fundiertes Wissen im betreffenden Sachgebiet und setzt viel Erfahrung in der angemessenen Formulierung von Aufgaben voraus. Da die zu Prüfenden oftmals eine Auswahl aus vordefinierten Antwortalternativen zu treffen haben, ist die Wahrscheinlichkeit einer Lösung durch Erraten recht hoch. Werden die Antwortalternativen zudem ungeschickt gewählt (zum Beispiel offensichtlich unlogische Alternativen), erhöht dieses zusätzlich die Trefferwahrscheinlichkeit. Obwohl das Ausmaß an Aktivität und Kreativität der zu Prüfenden bei der Bearbeitung von Aufgaben dieses Typs verhältnismäßig gering ist, eignen sich qualitativ hochwertige konvergente Aufgaben insbesondere für die einfache Abfrage von Faktenwissen. Durch Einsatz von zum Beispiel Medien, Fallbeispielen oder Grafiken ist auch die Überprüfung von Verständnis möglich (Krebs, 2008), durch die Kombination mehrerer Fragen zu Key-Feature-Fragen auch von prozeduralem Wissen (Schaper et al., 2013).

Durch divergente Aufgaben können Hintergrundwissen, Lösungswege und Begründungen besser erfasst werden. Zur Lösung divergenter Aufgaben ist ein schöpferisches Einsetzen von Wissen nötig. Die Lösung divergenter Aufgaben soll zu grundlegenden methodischen Überlegungen anregen, eine inhaltliche, qualitative Argumentation initiieren und damit die vertiefte Auseinandersetzung mit dem Lehrstoff bewirken. Divergente Aufgabenformate zielen darauf ab, Eigenständigkeit, Selbstvertrauen, Problembewusstsein, Kreativität und Flexibilität der zu Prüfenden zu fördern. Ein vorherrschendes divergentes Aufgabenformat ist die Freitextaufgabe. Die Korrektur durch den Lehrenden ist sehr aufwendig und erfolgt nur selten nach exakt definierten, objektiven Bewertungsschemen, den sogenannten Assessment Rubriken (McAlpine, 2002).

Konvergente wie divergente Aufgaben haben ihren jeweiligen didaktischen Wert. Sie sind in der Aufgabenkultur auf das Profil des Prüfungsgebietes, die Lerngruppe und die methodische Zielsetzung der Prüfung abzustimmen.

?

Sammeln Sie Probleme, die bei der automatischen Korrektur von Freitextaufgaben wie etwa das Schreiben eines Aufsatzes auftreten können. Die Entscheidung, ob konvergente oder divergente Aufgabentypen zum Einsatz kommen, sollte auf Basis des Prüfungsgebiets, der Lerngruppe und der methodischen Zielsetzung der Prüfung getroffen werden und nicht auf Basis der technologischen Unterstützungsmöglichkeiten.

Insbesondere für konvergente Aufgabentypen bieten E-Assessment-Systeme heutzutage schon vielfältige Unterstützung. Durch innovative, computerunterstützte Aufgabentypen mit neuartigen Antwortverfahren kann die Präsentation, Durchführung und Auswertung erleichtert werden. Gleichzeitig kann ihre Gestaltung sehr flexibel erfolgen, wodurch ihre Aussagekraft im Vergleich zu papierbasierten Prüfungen sogar erhöht werden kann (Reepmeyer, 2008; Wannemacher, 2007). So können zum Beispiel Grafiken, Sound-Dateien oder sogar Filme eingesetzt werden. Bei grafischen Zuordnungsaufgaben lösen die zu Prüfenden die Aufgabe zum Beispiel durch geschicktes Platzieren eines grafischen Objekts in einer grundlegenden Grafik. Als Vorteile konvergenter Aufgabentypen in computerunterstützten Lernfortschrittskontrollen können allgemein die eindeutige Auswertbarkeit, die kurze Bearbeitungszeit, der geringe Eingabeaufwand und das Bereitstellen kontextsensitiven Feedbacks gesehen werden (McAlpine, 2002). Ein offensichtlicher Nachteil ist, wie auch bei traditionellen Formen dieser Aufgabenkategorie, im Erraten von Antworten und der damit verbundenen Gefahr von Zufallslösungen zu sehen. Vermehrt zeigt sich aber auch, dass elektronische Systeme zur Unterstützung strukturierter mündlicher oder praktischer Prüfungen, wie etwa eOSCE (Aboling et al., 2011), eingesetzt werden können, um die Vorteile der computergestützten Dokumentation und Bewertung auch bei der Überprüfung von Fertigkeiten oder Einstellungen einzusetzen.

Computerunterstützte Lernfortschrittskontrollen mit divergenten Aufgabentypen befinden sich seltener im praktischen Einsatz. Sollen zum Beispiel Freitextaufgaben mittels Computerunterstützung bewertet werden, kommen bei vielen E-Assessment-Systemen nur Stichwortlisten zum Einsatz. Hierzu wird vom Lehrenden eine Liste obligatorischer Stichworte und ihrer Synonyme vorgegeben, auf deren Vorkommen der zu bewertende Text untersucht wird. Die Wörter und nahe gelegene Negationen werden optisch hervorgehoben und erlauben dem Korrektor und der Korrektorin eine einfachere Nachbearbeitung. Ferner unterstützen viele computerunterstützte Ansätze eine Überprüfung der Rechtschreibung sowie eine Plagiatskontrolle. Insofern wird eine hilfreiche Vorstrukturierung des Freitextes vorgenommen. An einer umfassenden semantischen Analyse arbeiten zurzeit einige Arbeitsgruppen (Berlanga et al., 2011) und konnten bereits gute Ergebnisse bei der Bewertung von kurzen Freitextantworten erreichen (Gütl et al., 2011).

Es ist ersichtlich, dass noch eine Diskrepanz zwischen didaktischen und methodischen Ansprüchen an Aufgabentypen in Prüfungsverfahren und den real vorherrschenden Methoden beziehungsweise technisch realisierten Aufgabentypen existiert. Qualitativ hochwertigen Lernzielen und -inhalten, methodisch anspruchsvoll vermittelt, stehen oft noch Prüfungen mit dem Fokus darauf, was leicht zu überprüfen ist, gegenüber (Reeves, 2006). Dabei kann der Einsatz von Computern bei divergenten Fragen durch das einheitliche Schriftbild die Korrekturzeit der Lehrenden deutlich verringern und einen Beitrag zu Effizienz leisten (Stieler, 2011). Des Weiteren können auch Peer-Assessment-Ansätze genutzt werden, um insbesondere qualitätsvolles Feedback für formatives Assessment durch die Gruppe der Lernenden selbst zu geben (Wesiak et al., 2012).

Organisation: Prozesse computerunterstützter Prüfungen

Welche organisatorischen Maßnahmen zur Vorbereitung, Durchführung und Nachbereitung computerunterstützter Lernfortschrittskontrollen notwendig sind, wird am Beispiel einer computerunterstützten Klausur demonstriert. Zentrale Fragestellung ist, wie die Organisation von Lernfortschrittskontrollen durch Computerunterstützung effektiv, effizient und zuverlässig gestaltet werden kann. Um E-Assessment zu etablieren, ist die Schaffung von geeigneten organisatorischen Strukturen und technologischen Komponenten bzw. Verfahren notwendig, mit denen computerunterstützte Klausuren in zuverlässiger und justiziabler Form durchgeführt werden können (Reepmeyer, 2008). Schon bei der Fragenerstellung und dem Pre- und Postreview sowie dem nach den Klausuren folgenden Einsichts- und Einspruchsverfahren zeigen Fragendatenbanksysteme eine große Effektivität und Effizienz (Vor dem Esche et al., 2011). Für die Prüfungen an sich müssen etwa räumliche, zeitliche und personelle Ressourcen koordiniert werden. Eine Voraussetzung für die Durchführung elektronischer Prüfungen mit größeren Teilnehmerzahlen stellen große Rechnerpools mit der entsprechenden Hard- und Software dar.

Bei mangelnden Rechnerkapazitäten in Massenprüfungen können Prüfungen simultan in mehreren Rechnerpools bzw. in mehreren aufeinanderfolgenden Zeitscheiben durchgeführt werden (Eilers et al., 2008; Reepmeyer, 2008; Wannemacher, 2007), oder den zu Prüfenden wird die Nutzung eigener Laptops in der Prüfung gestattet (meist Open-Book-Prüfungen; Schulz und Apostolopoulos, 2010). Darüber hinaus werden an einigen Universitäten elektronische Prüfungen in den normalen Hörsälen unter Einsatz universitätseigener Laptops oder gemieteter Laptops durchgeführt (Fischer, 2010).

Beispielsysteme

Vorbereitung Durchführung Nachbereitung
Fragenkataloge erstellen, reviewen und auf Server bereitstellen Systembetrieb sicherstellen Automatische beziehungsweise manuelle Korrekturen koordinieren und durchführen
Teilnehmerlisten erzeugen Anwesenheit/Identität der Teilnehmer/innen prüfen Rückmeldung an Teilnehmer/innen geben
Raum- und Zeitressourcen koordinieren Rechner- und Prüfungszugang koodinieren Notenlisten generieren und an das Prüfungsamt übermitteln
Teilnehmer- und Organisationsdaten in Prüfungssystem importieren Organisatorische Fragen klären Einsicht- und Einspruchnahme koordinieren
Teilnehmende mit dem Prüfungssystem vertraut machen Manipulation und Täuschung verhindern Prüfungs- bzw. Fragenkorrektur nach Einspruchsverfahren Archivierung sichern

Tab. 2: Organisatorische Prozesse in computerunterstützten Klausuren

!

Neben der Akzeptanz durch Prüfende und zu Prüfende ist die Akzeptanz durch das Prüfungsamt maßgeblicher Faktor bei der Initialisierung eines E-Assessment-Systems.

Die computerunterstützte Prüfungsorganisation birgt ferner vielfältige technische Herausforderungen: Die technische Zuverlässigkeit von Prüfungssystemen zählt zu den zentralen Bedingungen für die Akzeptanz der neuen Prüfungsformen, weshalb die Entwicklung spezieller Sicherheitskonzepte erforderlich ist (Wannemacher, 2007). Der Ausfall eines Prüfungsrechners oder des Gesamtsystems darf nicht dazu führen, dass ein Prüfungsteilnehmer oder eine Prüfungsteilnehmerin seine/ihre Prüfung nicht zu Ende führen kann (Reepmeyer, 2008). Dem Problem technischer Ausfälle wird bei modernen Prüfungssystemen durch Maßnahmen, wie regelmäßige Backups bzw. Replikationen der Aktionen der Prüfungsteilnehmer/innen und die Möglichkeit zur Prüfungsfortsetzung an einer Ersatzstation, entgegengewirkt. Um Manipulationen vorzubeugen, sind eine Einschränkung der Netzwerkfunktionalität und die Abkopplung des Prüfungssystems vom Internet ratsam. Der Zugriff auf (unerlaubte) Fremdanwendungen sollte gesperrt und ein Datenaustausch zwischen Rechnern verhindert werden (Reepmeyer, 2008; Wannemacher, 2007). Auch kann durch individuelle Aufgaben beziehungsweise eine variierende Anordnung der Aufgaben einer Manipulation des Prüfungsergebnisses vorgebeugt werden. Alle diese Vorgänge sind in der jeweiligen Prüfungsordnung detailliert festzulegen, damit E-Prüfungen als rechtssichere Prüfungsform zulässig sind (Horn et al., 2013).

Um die Lernenden an die neue digitale Organisationsform der Klausuren und neue Frageformate zu gewöhnen, bieten sich Trainingsphasen im Vorfeld der eigentlichen Prüfungen an, in denen der Prüfungsablauf erprobt werden kann (Wannemacher, 2007).

Der konkrete organisatorische Ablauf computerunterstützter Prüfungen kann stark variieren. Tabelle 2 zeigt mögliche organisatorische Prozesse dieser Prüfungsform (Gruttmann, 2010).

?

Geben Sie jeweils Beispiele aus Ihrem Umfeld für die vier Kategorien, in die ein Assessment-System aus technischer Sicht eingeordnet werden kann.

TECHNISCHE KLASSIFIZIERUNG Korrekturunterstützung
manuell automatisch
Internetanbindung online
stand-alone

Tab. 3: Technische Klassifizierung der E- Assessment-Systeme

Es wird deutlich, dass auch computerunterstützte Klausuren mit einem erheblichen organisatorischen Aufwand verbunden sind. Sowohl im Vorfeld einer Prüfung, als auch während und nach der Prüfung, sind diverse Arbeiten zu erledigen, um einen reibungslosen Ablauf der Prüfungen unter rechtssicheren Bedingungen zu gewährleisten. Computerunterstützte Klausuren eignen sich aufgrund dieser Aufwände in besonderem Maß zur Prüfung großer Gruppen. Insbesonders bei regelmäßig wiederkehrenden Prüfungen rentieren sich die aufwendige Ausarbeitung einer umfassenden Aufgabendatenbank und die mitunter kostenintensive Infrastruktur.

Technik: Klassifizierung von E-Assessment-Systemen

Der Begriff E-Assessment an sich verlangt per Definition zunächst nur, dass eine Lernfortschrittskontrolle „mit Hilfe elektronischer Medien vorbereitet, durchgeführt und nachbereitet wird“ (Eilers et al., 2008). Das Ausmaß, mit dem Computer im Assessment-Prozess eingesetzt werden, wird hierdurch noch nicht determiniert. Hinsichtlich des Einsatzes lassen sich jedoch verschiedene Realisierungsformen unterscheiden. Sie lassen sich grob durch die zwei folgenden Dimensionen beschränken: den Grad der Korrekturunterstützung einerseits, das heißt, welche Rolle nimmt der Computer bei der Korrektur ein, und der Grad der Anbindung des Internets andererseits (Tabelle 3).

Da sich das E-Assessment nicht ausschließlich auf die vollautomatische Auswertung von Aufgaben beschränkt, wird in der Dimension Korrekturunterstützung zusätzlich die manuelle Auswertung der Aufgaben unterschieden. Unter der Kategorie „manuelle Auswertung“ werden sowohl die teilautomatisierte Korrekturunterstützung, als auch die nicht computergestützte Auswertung von Aufgaben subsumiert, da in beiden Fällen eine Benutzerinteraktion notwendig ist. Vollständige Korrekturunterstützung ohne Computernutzung bei der Antworteingabe weisen zum Beispiel die weitverbreiteten Papier-Scan-Lösungen auf. Die Differenzierung der Korrekturunterstützung wird maßgeblich durch die Art der Prüfungsaufgaben bestimmt. Konvergente Aufgabenformate, wie Multiple Choice oder das Abprüfen von Vokabeln, erfordern in der Regel keinen manuellen Eingriff. Divergente Aufgabenformate sind mit dem heutigen Stand der Technik häufig nur manuell korrigierbar.

Hinsichtlich der Dimension Anbindung des Internets wird zwischen den Ausprägungen online und offline beziehungsweise stand-alone unterschieden. Online bezeichnet hierbei die Anbindung an das Internet zur Nutzung von Applikationen oder zum Informationsaustausch, wohingegen stand-alone-Anwendungen nur im lokalen Netzwerk oder sogar nur auf einzelnen Computern installiert sind und keine externen Netzwerkzugriffe benötigen. Bei der Entscheidung für oder wider Internetanbindung eines elektronischen Prüfungssystems spielen rechtliche, didaktische, technische und organisatorische Faktoren eine maßgebliche Rolle. So wird bei summativen elektronischen Lernfortschrittskontrollen, häufig bereits aufgrund von Sicherheitsaspekten in Hinblick auf die Ausfallsicherheit des Systems und den Schutz vor Datenmanipulationen, auf eine Internetanbindung verzichtet. Ein großer Vorteil der Webanbindung ist die Zeit- und Ortsunabhängigkeit. Aus diesem Grund ist die Internetanbindung häufig bei Systemen für das formative und diagnostische Assessment zu finden.

Zusammenfassung

Potenziale, die E-Learning-Systeme für die Unterstützung von Prozessen des Lehrens und Lernens bieten, können durch den Einsatz von E-Assessment-Systemen auch in Prüfungsprozessen realisiert werden. E-Assessment kann dabei eine Verbesserung der Effektivität und Effizienz sowie eine Steigerung der Qualität der Assessment-Prozesse bewirken. Eine sinnvolle Realisierung ist allerdings nur dann möglich, wenn diverse didaktische, methodische und organisatorische Aspekte neben den technischen Rahmenbedingungen berücksichtigt werden. Der vorliegende Beitrag greift eine Auswahl relevanter Aspekte auf und macht auf die vielfältigen Potenziale und Fallstricke aufmerksam, die mit der Computerunterstützung von Lernfortschrittskontrollen verbunden sind.

Möglichkeiten der Zeitersparnis und des reduzierten Personaleinsatzes bei der Prüfungsabwicklung, die Aussichten auf Standardisierung und Rationalisierung von Prüfungen, die vereinfachte Auswertung sowie das zunehmende Prüfungsaufkommen im Zuge einer Leistungsorientierung in der Gesellschaft stellen jedoch hinreichende Anreize dar, sich weiterhin mit dem Thema E-Assessment zu beschäftigen, wobei das Ziel nicht sein sollte, bisherige Prüfungsformate nur effizient zu kopieren, sondern die Potenziale elektronischer Prüfungen zu nutzen, um noch besser die erworbenen Kompetenzen zu überprüfen und den Studierenden hilfreiches Feedback zu geben.

Literatur