MiniMax bringt Open-Source-LLM mit beeindruckendem Kontextfenster auf den Markt

MiniMax veröffentlicht Open-Source-LLM mit riesigem Kontextfenster

Das KI-Unternehmen MiniMax hat kürzlich die Veröffentlichung und Open-Sourcing der MiniMax-01-Serie bekannt gegeben, einer neuen Familie von Modellen, die für die Verarbeitung ultra-langer Kontexte und die Verbesserung der Entwicklung von KI-Agenten entwickelt wurden. Die Serie umfasst MiniMax-Text-01, ein grundlegendes großes Sprachmodell (LLM), und MiniMax-VL-01, ein visuelles multimodales Modell.

Ein Kontextfenster von vier Millionen Token

Besonders bemerkenswert ist MiniMax-Text-01, das ein Kontextfenster von bis zu vier Millionen Token ermöglicht – das entspricht dem Umfang einer kleinen Bibliothek. Das Kontextfenster gibt an, wie viele Informationen das LLM in einem Input/Output-Austausch verarbeiten kann, wobei Wörter und Konzepte als numerische "Token" dargestellt werden, der internen mathematischen Abstraktion des LLMs von den Daten, auf denen es trainiert wurde.

Während Google mit seinem Gemini 1.5 Pro-Modell und einem Kontextfenster von zwei Millionen Token bisher führend war, hat MiniMax diese Kapazität nun verdoppelt. MiniMax erklärte dazu: "MiniMax-01 verarbeitet effizient bis zu 4 Millionen Token – das 20- bis 32-fache der Kapazität anderer führender Modelle. Wir glauben, dass MiniMax-01 gut positioniert ist, um den erwarteten Anstieg agentenbezogener Anwendungen im kommenden Jahr zu unterstützen, da Agenten zunehmend erweiterte Kontextverarbeitungsfähigkeiten und nachhaltigen Speicher benötigen."

Lightning Attention Architektur

Das Herzstück von MiniMax-01 bildet der Lightning Attention-Mechanismus, eine innovative Alternative zur Transformer-Architektur. Dieses Design reduziert die Rechenkomplexität erheblich. Die Modelle bestehen aus 456 Milliarden Parametern, von denen 45,9 Milliarden pro Inferenz aktiviert werden.

Im Gegensatz zu früheren Architekturen verwendet Lightning Attention eine Mischung aus linearen und traditionellen SoftMax-Schichten und erreicht so eine nahezu lineare Komplexität für lange Eingaben. SoftMax ist die Transformation von Eingangszahlen in Wahrscheinlichkeiten, die sich zu 1 addieren, sodass das LLM abschätzen kann, welche Bedeutung der Eingabe am wahrscheinlichsten ist.

MiniMax hat seine Trainings- und Inferenz-Frameworks überarbeitet, um die Lightning Attention-Architektur zu unterstützen. Zu den wichtigsten Verbesserungen gehören:

- MoE All-to-All-Kommunikationsoptimierung: Reduziert den Overhead der Inter-GPU-Kommunikation. - Varlen Ring Attention: Minimiert Rechenverschwendung bei der Verarbeitung langer Sequenzen. - Effiziente Kernel-Implementierungen: Maßgeschneiderte CUDA-Kernel verbessern die Leistung von Lightning Attention.

Diese Fortschritte machen die MiniMax-01-Modelle für reale Anwendungen zugänglich und gleichzeitig erschwinglich.

Leistung und Benchmarks

Bei gängigen Text- und multimodalen Benchmarks kann MiniMax-01 mit Spitzenmodellen wie GPT-4 und Claude-3.5 mithalten, insbesondere bei Auswertungen mit langem Kontext. Bemerkenswert ist, dass MiniMax-Text-01 bei der Needle-In-A-Haystack-Aufgabe mit einem 4-Millionen-Token-Kontext eine Genauigkeit von 100 % erreichte. Die Modelle zeigen zudem eine minimale Leistungsverschlechterung mit zunehmender Eingabelänge.

Open Source und Verfügbarkeit

Die Modelle stehen ab sofort auf Hugging Face und Github unter einer benutzerdefinierten MiniMax-Lizenz zum Download zur Verfügung, können direkt in Hailuo AI Chat (einem ChatGPT/Gemini/Claude-Konkurrenten) ausprobiert werden und sind über die Anwendungsprogrammierschnittstelle (API) von MiniMax verfügbar, über die Drittanbieter ihre eigenen Anwendungen mit den Modellen verknüpfen können.

MiniMax bietet APIs für Text- und Multimodalverarbeitung zu wettbewerbsfähigen Preisen an:

- 0,2 US-Dollar pro 1 Million Eingabe-Token - 1,1 US-Dollar pro 1 Million Ausgabe-Token

Zum Vergleich: GPT-4o von OpenAI kostet über seine API 2,50 US-Dollar pro 1 Million Eingabe-Token, was um das 12,5-fache teurer ist.

Zukunftsaussichten

MiniMax plant regelmäßige Updates, um die Fähigkeiten der Modelle zu erweitern, darunter Code- und Multimodal-Verbesserungen. Das Unternehmen betrachtet Open-Sourcing als einen Schritt zum Aufbau grundlegender KI-Fähigkeiten für die sich entwickelnde KI-Agentenlandschaft. Da 2025 voraussichtlich ein transformatives Jahr für KI-Agenten sein wird, steigt der Bedarf an nachhaltigem Speicher und effizienter Kommunikation zwischen Agenten. Die Innovationen von MiniMax sollen diesen Herausforderungen gerecht werden.

MiniMax lädt Entwickler und Forscher ein, die Möglichkeiten von MiniMax-01 zu erkunden. Über das Open-Sourcing hinaus begrüßt das Team technische Vorschläge und Kooperationsanfragen unter model@minimaxi.com.

Bibliographie: https://venturebeat.com/ai/minimax-unveils-its-own-open-source-llm-with-industry-leading-4m-token-context/ https://www.maginative.com/article/minimax-releases-open-source-llm-with-massive-4m-context-window/ https://daleonai.com/bigcontextwindows https://gradio.app/ https://www.linkedin.com/posts/rabeawahab_ai-businessefficiency-machinelearning-activity-7241768748724948992-FmvK https://www.reddit.com/r/singularity/comments/1czts01/what_would_you_do_with_a_gpt4o_with_1m_tokens/ https://news.ycombinator.com/item?id=39384513 https://www.youtube.com/watch?v=JHIKpScQcg8