Neue Echtzeit-Sprachmodelle von OpenAI für Entwickler verfügbar

OpenAI hat die Verfügbarkeit neuer Echtzeit-Sprachmodelle über seine Realtime API bekannt gegeben. Diese Entwicklung zielt darauf ab, die Interaktion mit künstlicher Intelligenz durch Sprache noch intuitiver und effizienter zu gestalten. Die neuen Modelle, GPT-Realtime-2, GPT-Realtime-Translate und GPT-Realtime-Whisper, bieten Entwicklern erweiterte Funktionen für die Erstellung von Sprachapplikationen, die in Echtzeit auf Benutzer reagieren können.

Die neuen Sprachmodelle im Detail

GPT-Realtime-2: Verbesserte Sprachinteraktion

GPT-Realtime-2 stellt ein fortschrittliches Sprachmodell dar, das mit GPT-5-ähnlichen Schlussfolgerungsfähigkeiten ausgestattet ist. Es wurde entwickelt, um komplexe Anfragen zu bearbeiten und Unterhaltungen auf natürliche Weise fortzusetzen. Dieses Modell zeichnet sich durch seine Fähigkeit aus, den Gesprächsfluss aufrechtzuerhalten, während es Anfragen verarbeitet, Werkzeuge aufruft, Korrekturen oder Unterbrechungen handhabt und in einer dem Moment angemessenen Weise reagiert.

• Präambeln: Entwickler können kurze Phrasen wie "Ich überprüfe das" oder "Einen Moment, bitte" aktivieren, um Benutzern zu signalisieren, dass der Agent aktiv ist.
• Parallele Tool-Aufrufe: Das Modell kann mehrere Tools gleichzeitig aufrufen und diese Aktionen hörbar machen, zum Beispiel mit Phrasen wie "Ich überprüfe Ihren Kalender".
• Verbessertes Wiederherstellungsverhalten: Bei Schwierigkeiten kann das Modell eleganter reagieren, anstatt stillschweigend zu scheitern.
• Längerer Kontext: Das Kontextfenster wurde von 32K auf 128K erweitert, um längere und kohärentere Sitzungen sowie komplexere Aufgabenabläufe zu unterstützen.
• Stärkeres Domänenverständnis: Das Modell kann Fachterminologie, Eigennamen und andere relevante Vokabeln in Produktionsumgebungen besser beibehalten.
• Kontrollierbarer Ton und Sprachstil: Die Tonlage des Modells kann angepasst werden, um beispielsweise ruhig bei Problemlösungen oder einfühlsam bei frustrierten Benutzern zu klingen.
• Anpassbarer Schlussfolgerungsaufwand: Entwickler können zwischen verschiedenen Schlussfolgerungsstufen wählen (minimal, niedrig, mittel, hoch, xhoch), um Latenz und Komplexität auszubalancieren.

Die Leistungssteigerungen zeigen sich in Benchmarks: GPT-Realtime-2 (hoch) erzielt im "Big Bench Audio" für Audio-Intelligenz eine um 15,2 % höhere Punktzahl als GPT-Realtime-1.5. Im "Audio MultiChallenge" für die Einhaltung von Anweisungen erreicht GPT-Realtime-2 (xhoch) eine um 13,8 % höhere Punktzahl.

GPT-Realtime-Translate: Echtzeit-Sprachübersetzung

GPT-Realtime-Translate ist ein neues Modell, das die Live-Übersetzung von Sprache aus über 70 Eingabesprachen in 13 Ausgabesprachen ermöglicht, während es mit der Sprechgeschwindigkeit Schritt hält. Dieses Modell ist für mehrsprachige Sprachanwendungen konzipiert, bei denen jede Person in ihrer bevorzugten Sprache sprechen und die Konversation in Echtzeit übersetzt hören kann, inklusive gleichzeitiger Transkriptionen. Anwendungsbereiche umfassen Kundensupport, grenzüberschreitenden Vertrieb, Bildung, Veranstaltungen und Medienplattformen.

Das Modell ist darauf ausgelegt, die Bedeutung zu bewahren, auch wenn Menschen natürlich sprechen, den Kontext wechseln oder regionale Aussprachen und fachspezifische Begriffe verwenden. Die Deutsche Telekom testet beispielsweise das Modell für mehrsprachige Sprachinteraktionen, um Konversationen natürlicher zu gestalten.

GPT-Realtime-Whisper: Latenzarme Sprachtranskription

GPT-Realtime-Whisper ist ein neues Streaming-Transkriptionsmodell, das für latenzarme Sprache-zu-Text-Umwandlung entwickelt wurde. Es transkribiert Audio, während gesprochen wird, wodurch Live-Produkte schneller, reaktionsfähiger und natürlicher wirken können. Dies reicht von Untertiteln, die sofort erscheinen, bis hin zu Besprechungsnotizen, die mit dem Gespräch Schritt halten.

Das Modell ermöglicht die Nutzung von Live-Sprache in Geschäftsworkflows, indem es Untertitel für Meetings, Klassenzimmer, Übertragungen und Veranstaltungen bereitstellt. Es kann Notizen und Zusammenfassungen generieren, während Gespräche noch im Gange sind, Sprachagenten entwickeln, die Benutzer kontinuierlich verstehen müssen, und schnellere Nachverfolgungsprozesse für Kundensupport, Gesundheitswesen, Vertrieb und Personalwesen ermöglichen.

Die Realtime API: Eine Plattform für Innovation

Die neuen Modelle sind über die erweiterte Realtime API zugänglich, die Entwicklern eine robuste Grundlage für die Erstellung fortschrittlicher Sprach-KI-Anwendungen bietet. Die API wurde kontinuierlich weiterentwickelt, um den Anforderungen realer Anwendungen gerecht zu werden, und bietet eine verbesserte Zuverlässigkeit und Leistung.

Sicherheits- und Datenschutzaspekte

OpenAI betont die Integration mehrerer Sicherheitsebenen und Schutzmaßnahmen in die Realtime API, um Missbrauch zu verhindern. Aktive Klassifikatoren überwachen Realtime API-Sitzungen, um Gespräche zu unterbinden, die gegen Richtlinien für schädliche Inhalte verstoßen. Entwickler können zudem eigene Sicherheitsvorkehrungen mit dem Agents SDK hinzufügen.

Die Nutzungsrichtlinien untersagen die Wiederverwendung oder Verbreitung von Ausgaben für Spam, Täuschung oder andere schädliche Zwecke. Entwickler sind verpflichtet, Endnutzer klar darüber zu informieren, wann sie mit einer KI interagieren, es sei denn, dies ist aus dem Kontext offensichtlich. Die Realtime API unterstützt die EU-Datenresidenz für in der EU ansässige Anwendungen und unterliegt den Datenschutzverpflichtungen von OpenAI.

Preise und Verfügbarkeit

Die Modelle GPT-Realtime-2, GPT-Realtime-Translate und GPT-Realtime-Whisper sind über die Realtime API verfügbar. Die Preisgestaltung für GPT-Realtime-2 liegt bei 32 USD pro 1 Million Audio-Eingabetoken (0,40 USD für zwischengespeicherte Eingabetoken) und 64 USD pro 1 Million Audio-Ausgabetoken. GPT-Realtime-Translate kostet 0,034 USD pro Minute, während GPT-Realtime-Whisper mit 0,017 USD pro Minute berechnet wird.

Entwickler können die neuen Echtzeit-Sprachmodelle im Playground testen und mit der Integration in bestehende oder neue Anwendungen beginnen.

Ausblick

Die Einführung dieser neuen Echtzeit-Sprachmodelle durch OpenAI markiert einen weiteren Schritt in der Evolution der Sprach-KI. Durch die Bereitstellung leistungsfähigerer Werkzeuge für Echtzeit-Interaktionen, Übersetzungen und Transkriptionen wird Entwicklern ermöglicht, Anwendungen zu schaffen, die menschliche Kommunikation noch besser nachahmen und unterstützen können. Diese Fortschritte könnten die Art und Weise, wie Menschen mit Technologie interagieren, weiter verändern und neue Möglichkeiten für multilinguale und barrierefreie Anwendungen eröffnen.

Die kontinuierliche Weiterentwicklung in diesem Bereich unterstreicht das Bestreben, KI-Systeme zu schaffen, die nicht nur intelligent, sondern auch intuitiv und benutzerfreundlich sind, und die Sprachinteraktion als eine der natürlichsten Schnittstellen zwischen Mensch und Maschine etablieren.

Bibliographie

- OpenAI. (2026, May 7). Advancing voice intelligence with new models in the API. Abgerufen von https://openai.com/index/advancing-voice-intelligence-with-new-models-in-the-api/ - OpenAI API. (n.d.). Realtime translation. Abgerufen von https://developers.openai.com/api/docs/guides/realtime-translation - OpenAI. (2025, August 28). 本番環境の音声エージェントに対応する gpt-realtime と Realtime API に更新が登場. Abgerufen von https://openai.com/ja-JP/index/introducing-gpt-realtime/ - ライブドアニュース. (2025, August 29). OpenAIが最も先進的な音声対話モデル「gpt-realtime」を公開、「Realtime API」も正式版に. Abgerufen von https://news.livedoor.com/topics/detail/29464371/ - ZDNET Japan. (2025, August 28). OpenAI、新たな音声モデル「gpt-realtime」を発表. Abgerufen von https://japan.zdnet.com/article/35237318/ - Impress Watch. (2026, May 8). OpenAI、新音声モデル「GPT-Realtime-2」 即時翻訳や低遅延... Abgerufen von https://topics.smt.docomo.ne.jp/article/www_watch/trend/www_watch-2107115 - GIGAZINE. (2026, May 8). OpenAIがリアルタイム会話・通訳・文字起こしAIをリリース. Abgerufen von https://gigazine.net/news/20260508-gpt-realtime-2-translate-whisper/ - AI News Updates. (2025, September 7). OpenAI、Realtime APIを正式公開：音声対話モデル「gpt-realtime」. Abgerufen von https://aiupdate.blog/openai-realtime-api-general-availability-gpt-realtime-model-090725/ - OpenAI Help Center. (n.d.). さまざまな言語のテキストで OpenAI API を使うには？ Abgerufen von https://help.openai.com/ja-jp/articles/6742369-how-can-i-use-the-openai-api-with-text-in-different-languages - jason liu (@jxnlco). (2026, May 7). tweet. Abgerufen von https://x.com/jxnlco/status/2052449634266812744