Automatic Processing of Text Responses in Large-Scale Assessments
Translated title:
Automatisches Verarbeiten von Textantworten in Large-Scale Assessments
Author:
Zehner, Fabian
Year:
2016
Document type:
Dissertation
Faculty/School:
Fakultät TUM School of Education
Advisor:
Prenzel, Manfred (Prof. Dr.)
Referee:
Prenzel, Manfred (Prof. Dr.); Goldhammer, Frank (Prof. Dr.); Hubwieser, Peter (Prof. Dr.)
Language:
en
Subject group:
DAT Datenverarbeitung, Informatik
Keywords:
Computer-Automated Scoring, Automatic Short Answer Grading, Automatic Coding, Open-Ended Responses, Short Text Responses, Reading Literacy, Coding Guides, Gender Gap
In automatic coding of short text responses a computer categorizes responses. In the thesis, a free software has been developed capable of (i) grouping text responses into semantically homogeneous types, (ii) coding the types, and (iii) extracting features. Results showed fair to good up to excellent agreement between the software’s and humans’ coding (76–98%) of 41,990 responses. Two further studies showed how the software can advance the assessment process and content-related research areas.
Translated abstract:
Beim automatischen Kodieren von Kurztextantworten kategorisiert ein Computer Antworten. In dieser Arbeit wurde eine Software entwickelt, die (i) Textantworten in semantisch homogene Typen gruppiert, (ii) diese Typen kodiert, und (iii) Merkmale extrahiert. Die Ergebnisse zeigen eine annehmbare bis exzellente Übereinstimmung zur menschlichen Kodierung (76–98 %) bei 41.990 Antworten. Zwei weitere Studien zeigen, wie die Software den Erhebungsprozess und inhaltliche Forschung weiterbringen kann.