Neue Fortschritte in multimodaler KI mit dem Inkling-Modell von Thinking Machines Lab

Inkling: Ein neuer Meilenstein in der multimodalen KI von Thinking Machines Lab

Das Thinking Machines Lab hat mit der Einführung von "Inkling" ein fortschrittliches multimodales KI-Modell vorgestellt. Inkling, das auf Hugging Face verfügbar ist, repräsentiert einen signifikanten Schritt in der Entwicklung großer Sprachmodelle, indem es eine native Verarbeitung von Bild-, Text- und Audioeingaben ermöglicht. Dieses Modell wurde auf einem enormen Datensatz von 45 Billionen Tokens trainiert und verfügt über eine beeindruckende Architektur, die es für eine Vielzahl von komplexen Anwendungen qualifiziert.

Architektur und Kernfunktionen

Inkling ist ein Decoder-only multimodales Mixture-of-Experts (MoE)-Modell mit insgesamt 975 Milliarden Parametern, von denen 41 Milliarden aktiv sind. Diese Architektur ermöglicht eine effizientere Inferenz, da zu jedem Zeitpunkt nur ein Teil der Parameter aktiv ist. Die Fähigkeit, Text, Audio und Bilder zu verarbeiten, macht es zu einem vielseitigen Werkzeug für domänenübergreifende Aufgaben.

Detaillierte Architekturelemente

• Decoder-only: Die Architektur unterstützt kausale autoregressive Generierung, ähnlich den meisten führenden LLMs.
• Multimodal: Das Modell kann Text-, Audio- und Bilddaten aufnehmen und verarbeiten.
• Mixture of Experts (MoE): Die Feed-Forward-Netzwerke innerhalb jeder Schicht sind spärlich, was eine schnellere Inferenz ermöglicht. Das Modell verfügt über 256 Experten, wobei 6 ausgewählte und 2 immer aktive geteilte Experten zum Einsatz kommen.
• Relative Aufmerksamkeit: Anstelle von RoPE, einer üblichen Methode zur Injektion von Positionsinformationen, nutzt Inkling relative Aufmerksamkeit, um Positionsinformationen direkt in den Aufmerksamkeits-Logits zu kodieren.
• Hybride Aufmerksamkeit: Die Decoder-Schichten wechseln zwischen globaler Aufmerksamkeit (gesamte Kontextlänge) und Sliding-Window-Aufmerksamkeit (festes Kontextfenster), um die Berechnungseffizienz zu optimieren.
• Kurze Faltung (SConv): Eine distinctive kurze 1D-Faltung über die Hidden States hilft bei der lokalen Aufmerksamkeit und entlastet die Aufmerksamkeits- und MoE-Module von lokalen Repräsentationen.
• Visuelles Verständnis: Ein hierarchisches MLP-Patchifier, bestehend aus mehreren linearen Schichten, verarbeitet Bildpixel progressiv zu einem Embedding pro Patch.
• Audio-Verständnis: Die Architektur verwendet ein diskretisiertes Mel-Spektrogramm, bei dem Audio-Chunks in die Mel-Skala umgewandelt und in Mel-Spektrogramm-Bins klassifiziert werden.

Inferenz und Bereitstellung

Inkling ist auf Hugging Face verfügbar und wird von führenden Inferenz-Engines wie Transformers, SGLang und vLLM unterstützt. Die Größe des Modells stellt jedoch hohe Anforderungen an die Hardware: Die BF16-Version benötigt 2 TB VRAM, während die NVFP4-Version 600 GB VRAM erfordert. Für die lokale Bereitstellung auf weniger leistungsstarker Hardware sind quantisierte Versionen über llama.cpp verfügbar.

Unterstützung in Transformers

Die Inferenz mit Transformers ist über die any-to-any Pipeline oder die AutoModelForMultimodalLM-Klasse möglich. Das Modell bietet verschiedene Stufen des "Reasoning Effort" (Denkaufwand), die über den Parameter reasoning_effort gesteuert werden können.

Beispiele für die Nutzung:

• Text- und Bildinferenz: Das Modell kann Fragen zu Bildern beantworten, indem es visuelle und textuelle Informationen kombiniert.
• Text- und Audioinferenz: Es ist in der Lage, Audioinhalte zu transkribieren und darauf basierende Fragen zu beantworten.

Integration in SGLang und vLLM

Für eine schnelle Bereitstellung ist Inkling in SGLang integriert, das eine benutzerdefinierte Modellimplementierung bietet. vLLM ermöglicht eine produktionsreife Bereitstellung, indem das Modell über mehrere GPUs verteilt wird und einen OpenAI-kompatiblen Server startet.

Lokale Inferenz und Cloud-Anbieter

Für die lokale Ausführung auf begrenzter Hardware können quantisierte Versionen des Modells, beispielsweise von Unsloth, über llama.cpp genutzt werden. Hugging Face Inference Providers bieten zudem eine Möglichkeit zur Remote-Inferenz, wobei verschiedene Optionen für Geschwindigkeit und Kosten zur Verfügung stehen.

Anwendungsfälle und Benchmarks

Inkling ist für eine Reihe von anspruchsvollen Anwendungen konzipiert:

• Agentisches Coding mit Pi: Das Modell kann als Coding-Agent in Umgebungen wie Pi eingesetzt werden, um komplexe Probleme zu lösen und Tools zu nutzen.
• Multi Token Prediction (MTP) Drafters: MTP-Schichten ermöglichen es dem Modell, mehrere Tokens gleichzeitig zu prädizieren, was die Generierungsgeschwindigkeit ohne Qualitätseinbußen erhöht.
• Multimodale Vision und Audioanalyse: Inkling wurde erfolgreich auf Aufgaben wie der Analyse von Medikamentenbestandteilen, der Beantwortung von Physikfragen aus Bildern und der Verarbeitung von Audioinhalten getestet.

Benchmarks zeigen Inkling in verschiedenen Kategorien wie Reasoning, Coding und Agentic Workloads im Vergleich zu anderen führenden Modellen wie GLM, Qwen, Claude Opus und GPT. Die Ergebnisse unterstreichen die Leistungsfähigkeit des Modells in komplexen Aufgaben, insbesondere im Bereich der multimodalen Argumentation.

Post-Training und SLURM-Skripte

Für das Post-Training stellt Thinking Machines das Tool "Tinker" bereit, das eine verwaltete Umgebung für das Fine-Tuning, die Destillation und das Reinforcement Learning von Open-Weight-Modellen bietet. Zudem werden SLURM-Skripte zur Bereitstellung von Inkling auf Clustern bereitgestellt, die an verschiedene Inferenz-Engines angepasst werden können.

Die Einführung von Inkling durch Thinking Machines Lab markiert einen wichtigen Fortschritt in der Entwicklung von multimodalen KI-Systemen. Die Fähigkeit, verschiedene Datenmodalitäten nativ zu verarbeiten, kombiniert mit einer fortschrittlichen Architektur und optimierten Inferenzmöglichkeiten, positioniert Inkling als ein leistungsstarkes Werkzeug für Forscher und Entwickler in der KI-Community.

Bibliographie

Thinking Machines Lab. (2026, 15. Juli). Thinking Machines Lab. Abgerufen von https://thinkingmachines.ai/ Modal. (2026, 15. Juli). Inkling by Thinking Machines Labs now available on Modal. Abgerufen von https://modal.com/blog/inkling-by-thinking-machines-labs-now-available-on-modal Baseten. (2026, 15. Juli). Meet Inkling: Thinking Machines Lab's new customizable model. Abgerufen von https://www.baseten.co/blog/meet-inkling-thinking-machines-labs-new-model/ Thinking Machines Lab. (2025, 16. September). Tinker - Thinking Machines Lab. Abgerufen von https://thinkingmachines.ai/tinker/ Whalesbook. (2026, 15. Juli). Thinking Machines Launches Inkling AI Model to Challenge Big Tech. Abgerufen von https://www.whalesbook.com/news/English/technology/Thinking-Machines-Launches-Inkling-AI-Model-to-Challenge-Big-Tech/6a57cd9e5cb7edf90c31fb35 Wheatley, M. (2026, 11. Mai). Thinking Machines drops a new, highly responsive model .... SiliconANGLE. Abgerufen von https://siliconangle.com/2026/05/11/thinking-machines-drops-new-highly-responsive-model-designed-humanlike-interactions-real-time/ Thinking Machines Lab. (2025, 1. Oktober). Announcing Tinker - Thinking Machines Lab. Abgerufen von https://thinkingmachines.ai/news/announcing-tinker/ Tinker Documentation. (n.d.). Tinker: a training API for researchers and developers. Abgerufen von https://tinker-docs.thinkingmachines.ai/tinker/ ByteByteGo. (2026, 30. Juni). Inside Thinking Machines' Interaction Models. Abgerufen von https://blog.bytebytego.com/p/inside-thinking-machines-interaction Thinking Machines Lab. (2025, 12. Dezember). Tinker: General Availability and Vision Input - Thinking Machines Lab. Abgerufen von https://thinkingmachines.ai/news/tinker-general-availability/