Adaptive Schwierigkeitsgradierung zur Effizienzsteigerung bei der CoT-Datengenerierung für LLMs
Artikel jetzt als Podcast anhören
Effizientere CoT-Datengenerierung durch adaptive Schwierigkeitsgrade für LLMs
Die Entwicklung leistungsstarker Sprachmodelle (LLMs) im Bereich der Künstlichen Intelligenz (KI) schreitet rasant voran. Ein wichtiger Faktor für die Verbesserung der Fähigkeiten von LLMs, insbesondere im Hinblick auf komplexes Schlussfolgern, ist die Verfügbarkeit qualitativ hochwertiger Trainingsdaten. Ein vielversprechender Ansatz hierfür ist die Nutzung von Chain-of-Thought (CoT) Daten, die den Denkprozess eines Modells durch schrittweise Argumentation transparent machen. Eine neue Forschungsarbeit des AlM DeepDive Teams von Zhongxing Telecom Equipment (ZTE) stellt nun eine innovative Methode zur Generierung von CoT-Daten vor, die auf einer LLM-adaptiven Schwierigkeitsgradierung von Fragen basiert.
Bisherige Ansätze zur CoT-Datengenerierung konzentrierten sich oft auf die Verwendung großer, leistungsstarker LLMs wie DeepSeek-R1 (671B) zur Erstellung der Daten. Diese Methode ist zwar effektiv, aber auch ressourcenintensiv und kostspielig. Die neue Methode von ZTE zielt darauf ab, die Effizienz der CoT-Datengenerierung zu steigern, indem der Schwierigkeitsgrad der Fragen an die Fähigkeiten des jeweiligen LLMs angepasst wird.
LLM-adaptive Schwierigkeitsgradierung
Der Kern der neuen Methode liegt in der adaptiven Schwierigkeitsgradierung. Zunächst wird die Schwierigkeit der Fragen anhand der Leistungsfähigkeit des zu trainierenden LLMs bewertet und eine LLM-adaptive Datenbank erstellt. Anschließend werden Fragen aus dieser Datenbank basierend auf einer Verteilung der Schwierigkeitsgrade ausgewählt. DeepSeek-R1 (671B) wird dann verwendet, um für diese ausgewählten Fragen hochwertige CoT-Daten mit korrekten Antworten zu generieren. Durch die Anpassung des Schwierigkeitsgrades wird der Aufwand für die Datengenerierung reduziert und die Effizienz des überwachten Finetunings (SFT) des Modells erhöht.
Verbesserte Leistung in Mathematik und Codegenerierung
Die Wirksamkeit dieser Methode wurde in den Bereichen komplexe mathematische Wettbewerbsaufgaben und Codegenerierung getestet. Die Ergebnisse sind vielversprechend: Mit nur 2.000 hochwertigen mathematischen CoT-Daten übertraf das ZMath-32B Modell von ZTE das DeepSeek-Distill-32B Modell in mathematischen Schlussfolgerungsaufgaben. Ähnliche Ergebnisse wurden auch im Bereich der Codegenerierung erzielt, wo das ZCode-32B Modell mit ebenfalls nur 2.000 CoT-Daten das DeepSeek-Distill-32B Modell übertraf.
Implikationen für die Zukunft der LLM-Entwicklung
Die von ZTE entwickelte Methode zur LLM-adaptiven CoT-Datengenerierung bietet ein großes Potenzial für die zukünftige Entwicklung von LLMs. Durch die effizientere Nutzung von Ressourcen und die gezielte Anpassung der Trainingsdaten an die Fähigkeiten des jeweiligen LLMs können kleinere Modelle mit deutlich weniger Aufwand trainiert und deren Leistung gesteigert werden. Dies eröffnet neue Möglichkeiten für den Einsatz von LLMs in einer Vielzahl von Anwendungen, von der Lösung komplexer mathematischer Probleme bis hin zur automatisierten Codegenerierung.
Die Forschungsergebnisse unterstreichen die Bedeutung von qualitativ hochwertigen Trainingsdaten und innovativen Methoden zur Datengenerierung für die Weiterentwicklung von KI-Systemen. Die adaptive Schwierigkeitsgradierung von Fragen stellt einen wichtigen Schritt in Richtung effizienterer und leistungsfähigerer LLMs dar.
Bibliographie: https://arxiv.org/abs/2504.11919 https://arxiv.org/html/2504.11919v1 https://powerdrill.ai/discover/summary-rethinking-the-generation-of-high-quality-cot-data-cm9na2n1j4pxq07svnwf8v02a http://paperreading.club/page?id=299911 https://huggingface.co/papers https://github.com/Xuchen-Li/llm-arxiv-daily https://chatpaper.com/chatpaper/zh-CN?id=2&date=1744819200&page=1 https://www.sciencedirect.com/science/article/pii/S0933365725000132 https://github.com/dair-ai/ML-Papers-of-the-Week https://papers.nips.cc/paper_files/paper/2024/file/6c1d2496c04d1ef648d58684b699643f-Paper-Datasets_and_Benchmarks_Track.pdf
