Generative KI, insbesondere Sprachmodelle (LMs), haben das Potenzial, Bereiche mit gesellschaftlicher Relevanz zu revolutionieren, besonders dort, wo der Zugang zu Experten begrenzt ist. Ein Beispiel dafür ist der Bildungssektor, in dem die Ausbildung von Nachwuchspädagogen durch erfahrene Mentoren zwar essenziell für die Effektivität ist, aber gleichzeitig hohe Kosten verursacht und so die flächendeckende Verbesserung der Bildungsqualität behindert. Dieser Umstand benachteiligt vor allem Schüler aus sozial schwachen Verhältnissen, die am meisten von einer qualitativ hochwertigen Bildung profitieren würden.
Ein neuer Ansatz für die Expertenunterstützung in Echtzeit
Eine kürzlich veröffentlichte Forschungsarbeit stellt "Tutor CoPilot" vor, einen neuartigen Ansatz, der menschliche Expertise mit künstlicher Intelligenz kombiniert. Das System nutzt ein Modell, das auf dem Denkprozess von Experten basiert, um Tutoren während ihrer Arbeit in Echtzeit mit expertenähnlicher Anleitung zu unterstützen. Die Studie, die im Oktober 2024 veröffentlicht wurde, ist die erste randomisierte Kontrollstudie, die ein Mensch-KI-System im realen Nachhilfeunterricht untersucht. An der Studie nahmen 900 Tutoren und 1.800 Schüler der Klassenstufen K-12 aus sozial benachteiligten Gemeinden teil.
Signifikante Verbesserung des Lernerfolgs
Die Ergebnisse der Studie sind vielversprechend: Schüler, die mit Tutoren arbeiteten, die Zugang zu Tutor CoPilot hatten, erreichten mit einer um 4 Prozentpunkte höheren Wahrscheinlichkeit (p<0,01) das Lernziel. Besonders bemerkenswert ist, dass Schüler von Tutoren mit niedrigeren Bewertungen den größten Nutzen aus dem System zogen. Ihre Erfolgsquote verbesserte sich im Vergleich zur Kontrollgruppe um 9 Prozentpunkte. Die Kosten für Tutor CoPilot belaufen sich laut der Studie auf lediglich 20 US-Dollar pro Tutor und Jahr, basierend auf der durchschnittlichen Nutzungsdauer während der Untersuchung.
Förderung hochwertiger Lehrstrategien
Um die Auswirkungen von Tutor CoPilot auf die angewandten Lehrmethoden zu analysieren, wurden über 550.000 Nachrichten mithilfe von Klassifikatoren ausgewertet. Die Analyse ergab, dass Tutoren, die das KI-System nutzten, häufiger hochwertige Strategien einsetzten, um das Verständnis der Schüler zu fördern, wie zum Beispiel das Stellen von Leitfragen. Gleichzeitig neigten sie seltener dazu, den Schülern die Antwort direkt vorzugeben, was mit bewährten Praktiken des hochwertigen Unterrichtens übereinstimmt.
Feedback der Tutoren und Ausblick
Interviews mit den teilnehmenden Tutoren lieferten weitere Einblicke in die Nutzung von Tutor CoPilot. Die Befragten betonten, dass die Anleitung des Systems ihnen half, besser auf die Bedürfnisse der Schüler einzugehen. Allerdings äußerten sie auch Kritikpunkte. So bemängelten sie beispielsweise, dass die generierten Vorschläge nicht immer altersgerecht waren.
Fazit
Die Studie zeigt, dass Tutor CoPilot das Potenzial hat, die Expertise von Tutoren zu skalieren und so einen Beitrag zur Verbesserung der Bildungsqualität zu leisten. Insbesondere Schüler, die von weniger erfahrenen Lehrkräften unterrichtet werden, könnten von einem solchen System profitieren.
Bibliographie
- Wang, R. E., Ribeiro, A. T., Robinson, C. D., Loeb, S., & Demszky, D. (2024). Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise. National Student Support Accelerator.
- https://studentsupportaccelerator.org/sites/default/files/Tutor%20CoPilot.pdf
- https://huggingface.co/papers/2410.03017
- https://studentsupportaccelerator.org/studies/tutor-copilot-human-ai-approach-scaling-real-time-expertise
- https://twitter.com/_akhaliq/status/1843147812776927287
- https://www.researchgate.net/publication/380821594_Intelligent_Tutor_Leveraging_ChatGPT_and_Microsoft_Copilot_Studio_to_Deliver_a_Generative_AI_Student_Support_and_Feedback_System_within_Teams?_tp=eyJjb250ZXh0Ijp7InBhZ2UiOiJzY2llbnRpZmljQ29udHJpYnV0aW9ucyIsInByZXZpb3VzUGFnZSI6bnVsbH19
- https://twitter.com/_akhaliq?lang=de
- https://cs.harvard.edu/malan/publications/V1fp0567-liu.pdf
- https://arxiv.org/html/2403.04931v1
- https://github.com/Hannibal046/Awesome-LLM
- https://www.linkedin.com/posts/remotejobs-ninja_ai-tutor-activity-7197642271926759424-WBUT
