Automatic Processing of Text Responses in Large-Scale Assessments
Übersetzter Titel:
Automatisches Verarbeiten von Textantworten in Large-Scale Assessments
Autor:
Zehner, Fabian
Jahr:
2016
Dokumenttyp:
Dissertation
Fakultät/School:
Fakultät TUM School of Education
Betreuer:
Prenzel, Manfred (Prof. Dr.)
Gutachter:
Prenzel, Manfred (Prof. Dr.); Goldhammer, Frank (Prof. Dr.); Hubwieser, Peter (Prof. Dr.)
Sprache:
en
Fachgebiet:
DAT Datenverarbeitung, Informatik
Stichworte:
Computer-Automated Scoring, Automatic Short Answer Grading, Automatic Coding, Open-Ended Responses, Short Text Responses, Reading Literacy, Coding Guides, Gender Gap
In automatic coding of short text responses a computer categorizes responses. In the thesis, a free software has been developed capable of (i) grouping text responses into semantically homogeneous types, (ii) coding the types, and (iii) extracting features. Results showed fair to good up to excellent agreement between the software’s and humans’ coding (76–98%) of 41,990 responses. Two further studies showed how the software can advance the assessment process and content-related research areas.
Übersetzte Kurzfassung:
Beim automatischen Kodieren von Kurztextantworten kategorisiert ein Computer Antworten. In dieser Arbeit wurde eine Software entwickelt, die (i) Textantworten in semantisch homogene Typen gruppiert, (ii) diese Typen kodiert, und (iii) Merkmale extrahiert. Die Ergebnisse zeigen eine annehmbare bis exzellente Übereinstimmung zur menschlichen Kodierung (76–98 %) bei 41.990 Antworten. Zwei weitere Studien zeigen, wie die Software den Erhebungsprozess und inhaltliche Forschung weiterbringen kann.