KI Sprachmodelle brechen Grenzen: Die Revolution der Kontextfenster in Transformer-Technologien

In der Welt der künstlichen Intelligenz (KI) schreitet die Entwicklung rasant voran. Die neuesten Durchbrüche betreffen die erweiterten Kontextfenster von Sprachmodellen, die als Transformer bekannt sind. Diese Modelle sind das Rückgrat vieler Chatbots und KI-gestützten Textverarbeitungssysteme. Es wurde kürzlich bemerkt, dass Firmen wie Anthropic, OpenAI und Google große Fortschritte bei der Ausweitung dieser Kontextfenster gemacht haben, ohne dass ihre Methoden offenbart wurden.

Transformer-Modelle, die auf dem Selbstlernaufmerksamkeitsmechanismus basieren, haben die Art und Weise, wie KI Sprache verarbeitet, revolutioniert. Ein wesentliches Merkmal dieser Modelle ist ihr Kontextfenster – die Menge an Text, die sie auf einmal verarbeiten können. Bisher war dieses Fenster eher begrenzt, beispielsweise kann das bekannte ChatGPT etwa 3.000 Wörter auf einmal verarbeiten. Diese Begrenzung hat Auswirkungen auf die Fähigkeit der KI, längere Gespräche zu führen oder umfangreiche Dokumente zu verstehen.

Anthropic, ein KI-Startup gegründet von ehemaligen OpenAI-Ingenieuren, hat kürzlich das Kontextfenster seines Chatbots Claude auf etwa 75.000 Wörter erweitert. Diese Kapazität ermöglicht es dem System, ganze Romane in weniger als einer Minute zu verarbeiten, was eine signifikante Verbesserung gegenüber aktuellen Modellen darstellt. Beispielsweise wurde getestet, ob Claude Veränderungen in einem Satz von F. Scott Fitzgeralds "Der große Gatsby" erkennen kann – das gelang in nur 22 Sekunden.

Die Maßeinheit für die Informationsverarbeitung in diesen Modellen sind sogenannte „Tokens“, die nicht genau der Anzahl der Wörter oder Buchstaben entsprechen. Ein Token repräsentiert eine semantische Einheit und kann je nach Komplexität des Inhalts variieren. Claude kann nun bis zu 100.000 Tokens verarbeiten, im Vergleich zu den vorherigen 9.000. Zum Vergleich: OpenAIs GPT-4 kann etwa 8.000 Tokens verarbeiten, und eine spezielle Version dieses Modells kommt auf bis zu 32.000 Tokens.

Claude ist derzeit nur für Geschäftspartner von Anthropic über die API des Unternehmens zugänglich. Die Preise sind nicht öffentlich bekannt, aber es ist davon auszugehen, dass die Verarbeitung größerer Textmengen auch höhere Rechenkosten verursacht.

Diese Entwicklungen zeigen, dass die Fähigkeit von KI-Sprachmodellen, Informationen zu verarbeiten, sich erhöht, was sie zweifellos nützlicher macht. Ein größeres Kontextfenster bedeutet, dass das System in der Lage ist, längere Konversationen zu halten. Ein Faktor, der dazu führt, dass Chatbots vom Thema abkommen, ist, dass sie vergessen, was bereits gesagt wurde, wenn ihr Kontextfenster voll ist. Mehr Kontext führt somit zu einer längeren Konversation.

Die steigenden Fähigkeiten von KI-Systemen wie Claude könnten eine Vielzahl von Anwendungen haben, etwa das Lesen, Zusammenfassen und Analysieren von langen Dokumenten in wenigen Minuten, was sonst eine Person etwa fünf Stunden kosten würde.

Diese Entwicklung wirft jedoch auch Fragen zur KI-Sicherheit und Ethik auf. Die Notwendigkeit, Forschung in sichere und verantwortungsvolle KI-Entwicklung zu investieren, wird zunehmend anerkannt. Google hat beispielsweise kürzlich den Executive Director des Frontier Model Forum ernannt und einen neuen AI Safety Fund mit über 10 Millionen Dollar ins Leben gerufen, um solche Forschungen zu fördern.

Es bleibt abzuwarten, wie sich die KI-Technologie weiterentwickeln wird und welche ethischen und sicherheitstechnischen Herausforderungen sich daraus ergeben. Die schnellen Fortschritte in diesem Bereich deuten darauf hin, dass die KI-Forschung und -Entwicklung eine immer wichtigere Rolle in unserer Gesellschaft spielen wird.

Quellen:
- Vincent, J. (2023, May 12). Anthropic leapfrogs OpenAI with a chatbot that can read a novel in less than a minute. The Verge.
- Walker, K. (2023, September 3). Anthropic, Google, Microsoft and OpenAI announce Executive Director of the Frontier Model Forum and over $10 million for a new AI Safety Fund.
- Toews, R. (2023, September 3). Transformers revolutionized AI. What will replace them? Forbes.