Khanmigo im Feldversuch: KI-Tutoring wirkt nur bei echter Nutzung

Eine der ersten großangelegten experimentellen Studien zum KI-Tutoring liegt vor: Zwei Jahre lang lief in 18 Mittelschulen in Tennessee ein randomisierter Feldversuch mit Khanmigo, dem KI-Tutor der Khan Academy – konfiguriert als Coach, der keine Lösungen vorgibt, sondern hinlenkt.

Die Ergebnisse

• Lerneffekt: +1,3 Percentile-Ranks pro Schultrimester, etwa 0,06 bis 0,08 Standardabweichungen pro Jahr
• Bei voller Teilnahme wäre ein Effekt von bis zu 0,14 Standardabweichungen drin – vergleichbar mit klassischem Khan-Academy-Üben ganz ohne KI

Der Knackpunkt: Nutzung

96 Prozent der Schüler probierten Khanmigo mindestens einmal aus – aber der mediane Schüler öffnete den Tutor nur an einem Drittel seiner Übungstage und konsultierte ihn in nur 17 Prozent der Sitzungen, in denen er einen Fehler machte. Geschickte Anfragen? Selten. Die meisten Nachrichten waren nackte Antworten oder Klicks auf vorgeschlagene Prompts.

Fazit

Der beschränkende Faktor ist nicht die Technologie, sondern das Engagement. “One Click Away” betont das Dilemma: Der Zugang zur KI ist da, aber ohne Anreize, den Tutor wirklich zu nutzen, verpufft das Potenzial. Wer KI-Tutoring in Schulen einführt, muss die Nutzung gestalten – nicht nur die Lizenz ausrollen.

Link: EdWorkingPapers (Annenberg Institute, Brown University)