Sprachmodelle im Dienste der Chemie Fortschritte und Perspektiven von LLMs in chemischen Anwendungen

In den letzten Jahren haben Große Sprachmodelle (Large Language Models, LLMs) bedeutende Fortschritte in verschiedenen Bereichen erzielt, insbesondere in der Anwendung auf chemische Prozesse. Diese Modelle bieten innovative Lösungen für die Vorhersage molekularer Eigenschaften, die Erzeugung von Molekülen und das Design von experimentellen Protokollen. Trotz dieser Entwicklungen fehlte es bisher an einem auf Dialog basierenden Modell, das speziell für den Bereich der Chemie konzipiert war.

Die Herausforderung bei der Entwicklung eines solchen Modells besteht darin, dass chemische Daten und wissenschaftliches Wissen hauptsächlich in strukturierten Datenbanken gespeichert sind. Die direkte Nutzung dieser strukturierten Daten beeinträchtigt die Fähigkeit des Modells, einen kohärenten Dialog aufrechtzuerhalten. Um diese Problematik zu bewältigen, wurde eine neuartige, auf Vorlagen basierende Methode zur Erstellung von Anweisungen entwickelt, die strukturiertes Wissen in allgemeinverständliche Dialoge umwandelt und somit für das Training von Sprachmodellen geeignet macht.

Mit diesem Ansatz wurde ChemLLM entwickelt, das erste große Sprachmodell, das speziell für die Chemie entwickelt wurde und verschiedene Aufgaben in chemischen Disziplinen mit einer fließenden Dialoginteraktion bewältigen kann. ChemLLM übertrifft GPT-3.5 in allen drei Hauptaufgaben der Chemie, nämlich der Namensumwandlung, der molekularen Beschriftung und der Reaktionsvorhersage, und übertrifft GPT-4 in zwei dieser Aufgaben. Bemerkenswert ist, dass ChemLLM auch eine außergewöhnliche Anpassungsfähigkeit an verwandte mathematische und physikalische Aufgaben zeigt, obwohl es hauptsächlich auf chemiezentrierten Korpora trainiert wurde.

Darüber hinaus zeigt ChemLLM Kompetenz in spezialisierten NLP-Aufgaben innerhalb der Chemie, wie Literaturübersetzung und chemoinformatisches Programmieren. ChemLLM eröffnet damit neue Wege für die Forschung im Bereich der chemischen Studien, während unsere Methode zur Integration strukturierten chemischen Wissens in Dialogsysteme eine neue Grenze für die Entwicklung von LLMs in verschiedenen wissenschaftlichen Feldern darstellt.

Ein Überblick über die Anwendung von LLMs in der Chemie zeigt, dass die Integration dieser Modelle in den Bereich der Chemie eine komplexe Aufgabe ist, die spezialisiertes Fachwissen erfordert. Es werden verschiedene Darstellungs- und Tokenisierungsmethoden untersucht, um molekulare Informationen in LLMs einzuspeisen. Chemische LLMs werden in drei verschiedene Gruppen eingeteilt, basierend auf Domäne und Modalität ihrer Eingabedaten, und es werden Ansätze zur Integration dieser Eingaben in LLMs diskutiert. Darüber hinaus wird die Anpassung von Vortrainingszielen an chemische LLMs untersucht.

Die vielfältigen Anwendungen von LLMs in der Chemie umfassen neue Paradigmen für ihre Anwendung in chemischen Aufgaben. Zukünftige Forschungsrichtungen umfassen die weitere Integration von chemischem Wissen, Fortschritte im kontinuierlichen Lernen und Verbesserungen in der Modellinterpretierbarkeit, was den Weg für bahnbrechende Entwicklungen in diesem Bereich ebnet.

LLMs haben auch das Potenzial, die Leistung in einer breiten Palette von Aufgaben im Bereich der Chemie zu verbessern, wie die Evaluation von acht chemischen Aufgaben zeigt. In dieser Untersuchung wurden fünf LLMs (GPT-4, GPT-3.5, Davinci-003, Llama und Galactica) in Null- und Wenig-Schuss-In-Context-Lernsettings bewertet. GPT-4 schnitt dabei besser ab als die anderen Modelle, und es zeigte sich, dass LLMs in acht chemischen Aufgaben unterschiedlich wettbewerbsfähig sind. Neben den Hauptergebnissen der umfassenden Benchmark-Analyse liefert diese Arbeit Einblicke in die Grenzen der aktuellen LLMs und die Auswirkungen von In-Context-Lernsettings auf die Leistung von LLMs in verschiedenen chemischen Aufgaben.

Die Kombination von strukturiertem chemischem Wissen mit den Fähigkeiten von LLMs stellt einen bemerkenswerten Fortschritt in der Anwendung von künstlicher Intelligenz in der Chemie dar. Es ist zu erwarten, dass solche Entwicklungen die Erforschung und Entwicklung in der Chemie erheblich beschleunigen werden.

Quellen:
- Chang Liao, Yemin Yu, Yu Mei, Ying Wei. "From Words to Molecules: A Survey of Large Language Models in Chemistry", arXiv:2402.01439.
- Manish Kumar. "Large Language Models in Chemistry", ChemicBook, 11 Apr 2023.
- Taicheng Guo, Kehan Guo, Bozhao Nan, Zhenwen Liang, Zhichun Guo, Nitesh V Chawla, Olaf Wiest, Xiangliang Zhang. "What can Large Language Models do in chemistry? A comprehensive benchmark on eight tasks", arXiv:2305.18365v3.