NVIDIA präsentiert Nemotron 3 Nano Omni: Fortschritte in multimodalen KI-Modellen

NVIDIA Nemotron 3 Nano Omni: Einblicke in ein modernes multimodales Modell

NVIDIA hat mit der Einführung von Nemotron 3 Nano Omni ein multimodales Modell präsentiert, das darauf ausgelegt ist, Text, Bilder, Videos und Audio in einer einzigen, integrierten Architektur zu verarbeiten. Dieses Modell, das speziell für agentische Anwendungen entwickelt wurde, bietet nach Angaben des Unternehmens eine verbesserte Leistung und Effizienz für eine Vielzahl von Aufgaben.

Architektur und Kernmerkmale

Nemotron 3 Nano Omni basiert auf einer hybriden Mamba-Transformer-Architektur, die das Konzept der Mixture-of-Experts (MoE) nutzt. Von den insgesamt 30 Milliarden Parametern werden pro Abfrage nur etwa 3 Milliarden aktiv genutzt, was zu einer hohen Effizienz bei der Inferenz beitragen soll. Das Modell integriert NVIDIAs eigenen C-RADIOv4-H Vision-Encoder und den Parakeet-TDT Audio-Encoder. Die Kontextlänge des Modells beträgt bis zu 256.000 Tokens, was die Verarbeitung langer und komplexer multimodaler Eingaben ermöglicht.

Ein zentrales Designprinzip ist die Reduzierung der Inferenzlatenz und die Steigerung des Durchsatzes. Dies wird unter anderem durch innovative Techniken zur Reduzierung multimodaler Tokens erreicht, wie die dynamische Bildauflösung und die Conv3D-basierte temporale Videokompression. Letztere soll die Anzahl der temporalen Tokens in Videos halbieren, indem sie aufeinanderfolgende Frames in "Tubelets" zusammenführt.

Trainingsstrategie und Datensätze

Die Entwicklung von Nemotron 3 Nano Omni umfasste einen mehrstufigen Trainingsprozess, der über 717 Milliarden Tokens verarbeitete. Dieser Prozess gliedert sich in verschiedene Phasen, die sukzessive neue Modalitäten einführen und die Kontextlänge erweitern, um eine robuste modellübergreifende Abstimmung zu gewährleisten und gleichzeitig die Fähigkeiten zur Textverarbeitung des Basis-LLM zu erhalten.

Ein bemerkenswerter Aspekt der Trainingsdaten ist der Einsatz von synthetisch generierten Daten, die teilweise von konkurrierenden Modellen stammen. Dazu gehören Modelle wie Qwen3-VL, Qwen3.5, OpenAI's GPT-OSS, Kimi-K2.5 und DeepSeek-OCR. Diese Praxis, Modelle anderer Anbieter zur Datengenerierung zu nutzen, ist in der Branche verbreitet, wird jedoch selten so transparent kommuniziert.

Die Trainingsphasen umfassen unter anderem:

• Vision Projector Warmup: Initiales Training des Vision MLP Projectors zur Abstimmung von visuellen und sprachlichen Modalitäten.
• Vision SFT: Feinabstimmung der visuellen Sprachfähigkeiten, wobei der Datensatz kontinuierlich verbessert und erweitert wird.
• Audio Projector Warmup und Encoder: Einführung und Training der Audio-Komponente mit verschiedenen ASR-, Sound-, Musik- und Sprachverständnisdaten.
• Omni SFT: Gemeinsames Training aller Modalitäten mit einer ausgewogenen Mischung aus visuellen, textlichen, auditiven und videobasierten Daten.
• Erweiterte Kontextlänge: Sukzessive Erweiterung der Kontextlänge auf 48.000 und schließlich auf 256.000 Tokens, um die Verarbeitung sehr langer Dokumente und Videos zu ermöglichen.

Nach der überwachten Feinabstimmung (SFT) folgt eine mehrstufige Reinforcement Learning (RL)-Phase. Diese umfasst Preference Optimization (MPO), Text-RL, Image-RL und Omni-RL, um die Befolgung von Anweisungen, das logische Denken und die Sicherheit des Modells weiter zu verbessern.

Leistung und Effizienz

NVIDIA hebt hervor, dass Nemotron 3 Nano Omni in einer Reihe von Benchmarks signifikante Verbesserungen gegenüber seinem Vorgänger, Nemotron Nano V2 VL, erzielt und in einigen Kategorien auch mit Modellen wie Qwen3-Omni konkurriert oder diese übertrifft. Insbesondere in den Bereichen Dokumentenverständnis (OCRBench-V2, MMLongBench-Doc), audiovisuelles Verständnis (WorldSense, DailyOmni) und Sprachinteraktion (VoiceBench) werden führende Ergebnisse erzielt.

Die Effizienz des Modells zeigt sich auch im Inferenzdurchsatz. Nemotron 3 Nano Omni soll bei gleicher Interaktivität einen bis zu neunmal höheren Durchsatz als vergleichbare offene Omni-Modelle und eine 2,4- bis 2,9-mal höhere Geschwindigkeit bei Single-Stream-Inferenz im Vergleich zu Qwen3-Omni erreichen. Diese Effizienz wird durch die MoE-Architektur und Techniken wie die effiziente Videoabtastung (EVS) unterstützt, die statische Bereiche in Videos identifiziert und beschneidet, um die Rechenlast zu reduzieren.

Das Modell ist zudem in verschiedenen Präzisionsformaten (BF16, FP8, NVFP4) verfügbar, wobei die Quantisierung eine weitere Steigerung der Inferenz-Effizienz bei minimalem Genauigkeitsverlust ermöglicht.

Transparenz und Verfügbarkeit

Ein wesentlicher Bestandteil der Veröffentlichung von Nemotron 3 Nano Omni ist NVIDIAs Engagement für Offenheit. Neben den Modellgewichten werden auch Teile der Trainingsdaten, die Trainingspipelines und die RL-Rezepte im Rahmen des NVIDIA Open Model Agreement bereitgestellt. Dies soll Entwicklern und Unternehmen eine umfassende Transparenz und Kontrolle über die Anpassung und den Einsatz des Modells ermöglichen.

Das Modell ist auf Plattformen wie Hugging Face und OpenRouter verfügbar und kann als NVIDIA NIM Mikroservice genutzt werden. Die breite Palette an Bereitstellungsoptionen, einschließlich der Kompatibilität mit vLLM, SGLang, Ollama, llama.cpp und TensorRT-LLM, unterstreicht die Flexibilität des Modells für verschiedene Umgebungen, von lokalen Systemen bis hin zu Rechenzentren und Cloud-Infrastrukturen.

Anwendungsbereiche und Zukunftsaussichten

Nemotron 3 Nano Omni ist primär für agentische Anwendungen konzipiert. Dazu gehören:

• Computer-Nutzungs-Agenten: Interpretation von Bildschirmaufnahmen und GUI-Interaktionen für Automatisierungs- und Supportaufgaben.
• Dokumentenintelligenz: Analyse und Interpretation von Dokumenten, Diagrammen, Tabellen und gemischten Medien für Unternehmensanalyse und Compliance.
• Audio- und Videoverständnis: Verarbeitung und Kontextualisierung von Gesprochenem, Gezeigtem und Dokumentiertem für Kundenservice, Forschung und Überwachung.

Die offene und effiziente Natur von Nemotron 3 Nano Omni positioniert es als eine Lösung, die lokale Kontrolle und Anpassbarkeit gegenüber der reinen Cloud-Nutzung bevorzugt. Es wird erwartet, dass es die Entwicklung von KI-Agenten vorantreibt, die in der Lage sind, komplexe multimodale Daten in Echtzeit zu verarbeiten und darauf zu reagieren.

Fazit

Mit Nemotron 3 Nano Omni bietet NVIDIA ein multimodales Modell an, das durch seine Architektur, die detaillierte Trainingsstrategie und die transparente Veröffentlichung von Daten und Methoden einen umfassenden Einblick in die Entwicklung moderner KI-Modelle ermöglicht. Die Kombination aus Effizienz, Leistung und Offenheit könnte einen Beitrag zur Weiterentwicklung agentischer KI-Systeme leisten.

Bibliography

- NVIDIA. Nemotron 3 Nano Omni: Efficient and Open Multimodal Intelligence. URL: https://arxiv.org/html/2604.24954 - NVIDIA Blog. NVIDIA Launches Nemotron 3 Nano Omni Model, Unifying Vision, Audio and Language for up to 9x More Efficient AI Agents. URL: https://blogs.nvidia.com/blog/nemotron/ - NVIDIA Technical Blog. Building NVIDIA Nemotron 3 Agents for Reasoning, Multimodal RAG, Voice, and Safety. URL: https://developer.nvidia.com/blog/building-nvidia-nemotron-3-agents-for-reasoning-multimodal-rag-voice-and-safety/ - NVIDIA Research. NVIDIA Nemotron 3 Family of Models. URL: https://research.nvidia.com/labs/nemotron/Nemotron-3/ - NVIDIA Research. NVIDIA Nemotron 3 Nano Technical Report. URL: https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3-Nano-Technical-Report.pdf - The Decoder. With Nemotron 3 Nano Omni, Nvidia reveals what really goes into a modern multimodal model. URL: https://the-decoder.com/with-nemotron-3-nano-omni-nvidia-reveals-what-really-goes-into-a-modern-multimodal-model/ - The Next Web. Nvidia releases Nemotron 3 Nano Omni: open multimodal model with 30B params, 3B active, for edge AI agents. URL: https://thenextweb.com/news/nvidia-nemotron-nano-omni-multimodal-agent-edge - GMI Cloud. NVIDIA Nemotron 3 Nano Omni: Multimodal Model for Vision, Audio & Text. URL: https://gmicloud.ai/en/blog/running-nvidia-nemotron-3-nano-omni-on-gmi-cloud - NVIDIA Technical Blog. Inside NVIDIA Nemotron 3: Techniques, Tools, and Data That Make It Efficient and Accurate. URL: https://developer.nvidia.com/blog/inside-nvidia-nemotron-3-techniques-tools-and-data-that-make-it-efficient-and-accurate/?nvid=nv-int-bnr-265049 - How2Shout. NVIDIA Nemotron 3 Nano Omni: One AI Model for Vision, Audio, and Text. URL: https://www.how2shout.com/news/nvidia-nemotron-3-nano-omni-multimodal-ai-agent-vision-audio.html