Engineering disciplines require problem-solving skills. Open-ended textual exercises allow students to acquire these skills. Grading them is a manual, repetitive, and time-consuming activity. Athena automates grading based on topic modeling, language models, and an assessment knowledge repository. Athena was evaluated in courses with up to 2,200 students. Athena suggested automatic feedback for 45% of the submissions. 92% of these suggestions were precise and accepted by the instructors.
Translated abstract:
Ingenieurwissenschaften erfordern Problemlösungskompetenz. Freitextaufgaben ermöglichen es Studierenden, diese Fähigkeiten zu erwerben. Die Korrektur ist allerdings eine zeitaufwändige Tätigkeit. Athena automatisiert die Bewertung basierend auf Topic Modeling, Sprachmodellen, und bestehenden Korrekturen. Athena wurde in Kursen mit bis zu 2.200 Studierenden evaluiert. Athena schlug Feedback für 45% der Abgaben vor. 92% der Vorschläge waren präzise und wurden von den Lehrenden akzeptiert.