NVIDIA präsentiert Nemotron 3 Nano Omni: Fortschritte in der multimodalen KI-Technologie

NVIDIA stellt Nemotron 3 Nano Omni vor: Ein Schritt zu vereinheitlichter multimodaler KI

NVIDIA hat mit der Einführung von Nemotron 3 Nano Omni ein neues multimodales Modell präsentiert, das darauf abzielt, die Verarbeitung verschiedener Datenarten – Text, Bilder, Audio und Video – in einem kohärenten System zu vereinen. Dieses Modell, das Teil der Nemotron 3-Familie ist, soll die Effizienz und Genauigkeit von KI-Anwendungen in komplexen Unternehmensumgebungen verbessern.

Architektur und Kernmerkmale

Nemotron 3 Nano Omni basiert auf einer hybriden Mixture-of-Experts (MoE)-Architektur mit 30 Milliarden Gesamtparametern, wovon etwa 3 Milliarden pro Token aktiv sind. Diese Struktur kombiniert Mamba-Layer für die effiziente Verarbeitung langer Sequenzen und Transformer-Layer für präzises, lokales Reasoning. Dadurch soll die Recheneffizienz im Vergleich zu reinen Transformer-Modellen um bis zu das Vierfache gesteigert werden.

Das Modell integriert dedizierte Encoder für jede Modalität:

• Vision Encoder: C-RADIOv4-H verarbeitet Bilder und Videos mit dynamischer Auflösung und zoomt bei Bedarf in Details hine. Eine 3D-Faltungsschicht erfasst zeitliche Bewegungen in Videos, während eine Efficient Video Sampling (EVS)-Schicht die visuellen Token komprimiert.
• Audio Encoder: NVIDIAs Parakeet-Encoder wurde für das Verständnis von Sprachsemantik und Kontext trainiert und geht über reine Transkription hinaus.
• Text Encoder: Der Nemotron 3 Nano 30B-A3B-Sprachmodell-Backbone bildet die Grundlage für textbasiertes Reasoning.

Ein zentrales Gating-Netzwerk wählt dynamisch die für jedes Token zu aktivierenden Experten-Subnetzwerke aus, was eine spezialisierte Verarbeitung ohne separate Modelle pro Modalität ermöglicht.

Leistung und Anwendungsbereiche

Nemotron 3 Nano Omni zeigt laut NVIDIA führende Leistungen in verschiedenen Benchmarks, insbesondere in den Bereichen:

• Dokumentenintelligenz: Das Modell erreicht hohe Genauigkeit bei der Analyse komplexer mehrseitiger Dokumente, was für Finanz-, Rechts- und Gesundheitsanwendungen von Bedeutung ist.
• Videoverständnis: Durch effizientes Video-Sampling und 3D-Faltungen kann das Modell Videos kostengünstig verarbeiten und dabei das zeitliche Verständnis bewahren.
• Audioverständnis: Es erzielt gute Ergebnisse bei der Sprachverarbeitung und dem Verständnis von Audiokontext.

Die Effizienz des Modells wird durch eine bis zu 9,2-fache höhere Systemkapazität bei Videoverarbeitung und eine 7,4-fache höhere Kapazität bei Multidokumenten-Reasoning im Vergleich zu ähnlichen Modellen hervorgehoben.

Potenzielle Anwendungsfälle für Unternehmen umfassen:

• Automatisierte Dokumentenverarbeitung: Extrahieren, Zusammenfassen und Kennzeichnen von Informationen aus Verträgen, Berichten und Finanzdokumenten.
• Video-Content-Intelligenz: Generierung von Metadaten und Analysen aus Videoinhalten für Medienunternehmen und Content-Moderation.
• Multimodale Agentensysteme: Nemotron 3 Nano Omni kann als Wahrnehmungs-Subagent in grösseren KI-Systemen dienen.
• Klinische und Forschungsanalyse: Verarbeitung medizinischer Bilder, Patientenakten und Gesprächsnotizen in vereinheitlichten Workflows.

Open-Source-Ansatz und Bereitstellung

NVIDIA verfolgt einen Open-Source-Ansatz und stellt Modellgewichte, Trainingsdatensätze (ca. 127 Milliarden multimodale Pretraining-Token) sowie Post-Training-Rezepte und RL-Umgebungen öffentlich zur Verfügung. Dies ermöglicht Entwicklern, das Training zu reproduzieren, domänenspezifische Varianten zu optimieren und das Modell in verschiedenen Umgebungen bereitzustellen.

Das Modell ist über verschiedene Plattformen zugänglich:

• Online-Demos: DeepInfra und fal.ai bieten Demos an.
• API-Zugang: Qubrid AI stellt eine OpenAI-kompatible API bereit.
• Lokale Bereitstellung: Anleitungen zur lokalen Ausführung sind für vLLM, TensorRT-LLM, SGLang und über Ubuntu Inference Snaps verfügbar. Diese ermöglichen die Bereitstellung auf GPUs (z.B. NVIDIA Ampere, Hopper, Blackwell) und Edge-Geräten wie Jetson Thor.

Trainingsstrategie

Das Training von Nemotron 3 Nano Omni erfolgte in mehreren Stufen, um eine stabile Modalausrichtung und verbesserte multimodale Instruktionsbefolgung sicherzustellen. Zunächst wurden visuelle und auditive Projektoren aufgewärmt, gefolgt von einer gemeinsamen multimodalen Feinabstimmung (SFT) und schliesslich einem Reinforcement Learning (RL) zur weiteren Verfeinerung. Diese gestufte Methode soll katastrophales Vergessen mindern und die Leistung über verschiedene Aufgabenbereiche hinweg optimieren.

Effizienz durch Quantisierung

NVIDIA bietet quantisierte Varianten des Modells in FP8 und NVFP4 an. Diese Quantisierung reduziert den Speicherbedarf erheblich – von 61,5 GB in BF16 auf 32,8 GB (FP8) bzw. 20,9 GB (NVFP4) – bei einem medianen Genauigkeitsverlust von weniger als 1%. Dies trägt zur Steigerung des Durchsatzes und zur Reduzierung der Latenz bei der Inferenz bei, insbesondere auf NVIDIA B200 GPUs.

Fazit

Nemotron 3 Nano Omni stellt eine Weiterentwicklung in der multimodalen KI dar, indem es die Verarbeitung unterschiedlicher Datenformate in einem einzigen, effizienten Modell zusammenführt. Der Open-Source-Ansatz und die Fokus auf reale Anwendungsfälle unterstreichen NVIDIAs Bestreben, multimodale KI breiter zugänglich und anwendbar zu machen.

Bibliography

- Bylygbashi, Blendi. "NVIDIA Nemotron™ 3 Nano Omni Is Now Available on fal | fal.ai", fal.ai, 28 April 2026, https://fal.ai/learn/devs/nemotron-3-nano-omni-is-now-on-fal. Accessed 29 May 2024. - DeepInfra. "nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning - Demo - DeepInfra", https://deepinfra.com/nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning. Accessed 29 May 2024. - Fahd Mirza. "NVIDIA Nemotron 3 Nano Omni — See, Hear & Read ... - YouTube", YouTube, 28 April 2026, https://www.youtube.com/watch?v=oDJnSVrezSw. Accessed 29 May 2024. - Hugging Face. "nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 · Hugging Face", https://huggingface.co/nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16. Accessed 29 May 2024. - NVIDIA. "Nemotron 3 Nano Omni: Efficient and Open Multimodal Intelligence", arXiv, https://arxiv.org/html/2604.24954. Accessed 29 May 2024. - NVIDIA. "NVIDIA Nemotron 3 Family of Models - NVIDIA Nemotron", research.nvidia.com, 15 December 2025, https://research.nvidia.com/labs/nemotron/Nemotron-3/. Accessed 29 May 2024. - Qubrid AI. "NVIDIA Nemotron 3 Nano Omni Explained: Architecture, Benchmarks & API on Qubrid AI - Qubrid AI", https://www.qubrid.com/blog/nvidia-nemotron-3-nano-omni-explained-architecture-benchmarks-api-on-qubrid-ai. Accessed 29 May 2024. - Unsloth. "NVIDIA Nemotron 3 Nano Omni - How To Run Locally | Unsloth Documentation", unsloth.ai, https://unsloth.ai/docs/models/nemotron-3-nano-omni. Accessed 29 May 2024. - Ubuntu. "Run NVIDIA Nemotron 3 Nano Omni locally in a single command | Ubuntu", ubuntu.com, https://ubuntu.com/blog/nvidia-nemotron-3-nano-omni. Accessed 29 May 2024.