KI-Agenten in sozialwissenschaftlichen Experimenten: Simulation menschlichen Verhaltens mit hoher Genauigkeit
Artikel jetzt als Podcast anhören
KI-Agenten simulieren menschliches Verhalten in sozialwissenschaftlichen Experimenten
Eine neue Studie zeigt, dass Künstliche Intelligenz (KI) menschliches Verhalten in sozialwissenschaftlichen Experimenten mit bemerkenswerter Genauigkeit simulieren kann. Forscher von Stanford University, der University of Washington und Google DeepMind haben KI-Agenten entwickelt, die auf Basis von ausführlichen Interviews individuelles Verhalten und Einstellungen nachbilden. Diese "generativen Agenten" verwenden Transkripte von Interviews als eine Art Gedächtnisstütze, um authentisches Verhalten in verschiedenen Experimenten zu reproduzieren.
Die Grundlage für die Agenten bilden zweistündige Interviews mit 1052 Teilnehmern, die so ausgewählt wurden, dass sie die US-Bevölkerung in Bezug auf Alter, Geschlecht, Bildung und politische Ansichten repräsentieren. Die Gespräche wurden mithilfe von OpenAI's Whisper-Modell in Text umgewandelt und anschließend mit GPT-4o, dem großen Sprachmodell hinter ChatGPT, verarbeitet. Wenn ein Agent befragt wird, lädt er das entsprechende Interviewtranskript und imitiert die Person basierend auf ihren darin gegebenen Antworten.
Überzeugende Ergebnisse in Vergleichstests
Um die Vorhersagegenauigkeit der KI-Agenten zu testen, wurden sie mit Fragen aus der "General Social Survey" (GSS), Persönlichkeitsbewertungen nach dem Big-Five-Modell und verschiedenen verhaltensökonomischen Spielen konfrontiert. Die auf Interviewdaten basierenden Agenten sagten die GSS-Antworten mit einer normalisierten Genauigkeit von 85% voraus. Sie schnitten damit deutlich besser ab als KI-Agenten, die lediglich mit demografischen Informationen gefüttert wurden.
In fünf sozialwissenschaftlichen Experimenten, die sowohl mit menschlichen Teilnehmern als auch mit KI-Agenten durchgeführt wurden, lieferten die Agenten in vier von fünf Studien Ergebnisse, die eng mit den menschlichen Reaktionen übereinstimmten. Die statistischen Messungen zeigten eine starke Korrelation zwischen den Antworten der KI und den menschlichen Antworten, mit einem Korrelationskoeffizienten von 0.98.
Reduzierte Verzerrung und verbesserte Datenschutzmaßnahmen
Ein weiterer wichtiger Aspekt der Studie ist die Reduzierung von Verzerrungen. Der interviewbasierte Ansatz zeigte signifikante Verbesserungen im Umgang mit Verzerrungen im Vergleich zu Methoden, die nur demografische Daten verwenden. Die KI-Agenten lieferten genauere Vorhersagen über verschiedene politische Ideologien und ethnische Gruppen hinweg und zeigten eine ausgewogenere Leistung bei der Analyse von Antworten zwischen verschiedenen demografischen Kategorien.
Um die Privatsphäre der Studienteilnehmer zu schützen und gleichzeitig die weitere Forschung zu unterstützen, haben die Forscher ihren Datensatz von 1000 KI-Agenten anderen Wissenschaftlern über GitHub zugänglich gemacht. Es wurde ein zweistufiges Zugriffssystem entwickelt: Wissenschaftler können frei auf aggregierte Antwortdaten für bestimmte Aufgaben zugreifen, während der Zugriff auf individuelle Antwortdaten für offene Forschungszwecke eine spezielle Genehmigung erfordert.
Potenzial für Forschung und Anwendung
Dieses System soll Forschern helfen, menschliches Verhalten zu untersuchen und gleichzeitig einen starken Datenschutz für die ursprünglichen Interviewteilnehmer zu gewährleisten. Der Datensatz könnte als Testfeld für Theorien in den Bereichen Wirtschaft, Soziologie und Politikwissenschaft dienen. Die Fähigkeit, menschliches Verhalten mit KI zu simulieren, eröffnet neue Möglichkeiten für die Forschung und könnte in Zukunft auch für die Entwicklung von personalisierten Dienstleistungen, die Verbesserung von Trainingsprogrammen oder die Gestaltung von politischen Maßnahmen relevant werden.
Quellen: - Park, J. S., Zou, C. Q., Shaw, A., Hill, B. M., Cai, C., Morris, M. R., Willer, R., Liang, P., & Bernstein, M. S. (2024). Generative Agent Simulations of 1,000 People. arXiv preprint arXiv:2411.10109. - Stokel-Walker, C. (2024, November 20). AI simulations of 1000 people accurately replicate their behaviour. New Scientist. - Lanz, J. A. (2024, November 22). Stanford Researchers Built AI Agents That Accurately Predict Human Behavior. Decrypt. - Foo, M. (2024, September 27). AI Predicts Human Behavior with 85% Accuracy. LinkedIn. - Young, M. (2024, November 19). Generative Agent Simulations of 1,000 People. Hugging Face Blog. - Berman, M. Researcher Clones Human Personality INTO AI Agents With Stunning Accuracy. YouTube. - Rice, T. (2024, November 18). 🤖 1000-Agent Simulation, ⚙️ Toyota's Drifting AI, and 🔋 Bloom's Data Power. Thomas's Innovation Wrap. - Dhia, H. (2024). Generative Agent Simulations of 1,000 People. Medium.
