Erweiterung des Evaluierungsrahmens für Sprachagenten mit EVA-Bench 2.0

Die Evaluierung von Sprachagenten in Unternehmensumgebungen stellt eine komplexe Herausforderung dar. Systeme, die in einer Domäne hervorragend funktionieren, können in einer anderen aufgrund unterschiedlicher Vokabulare, Workflow-Komplexitäten und Benutzererwartungen an ihre Grenzen stoßen. Vor diesem Hintergrund wurde EVA-Bench entwickelt, ein umfassendes Framework zur End-to-End-Evaluierung von konversationellen Sprachagenten. Die jüngste Veröffentlichung, EVA-Bench 2.0, erweitert diesen Ansatz signifikant und bietet eine breitere und tiefere Grundlage für die Bewertung dieser Technologien.

Erweiterung der EVA-Bench-Plattform

Mit der Einführung von EVA-Bench 2.0 wird der Anwendungsbereich der Evaluierung von Sprachagenten erheblich erweitert. Die Plattform, die ursprünglich eine einzige Unternehmensdomäne abdeckte, umfasst nun drei kritische Bereiche:

• Airline Customer Service Management (CSM): Dieser Bereich konzentriert sich auf typische Anfragen im Flugverkehr, wie Umbuchungen oder Statusabfragen.
• Enterprise IT Service Management (ITSM): Hier werden Szenarien aus dem IT-Support abgebildet, beispielsweise die Behebung von technischen Problemen oder die Verwaltung von Benutzerkonten.
• Healthcare HR Service Delivery (HRSD): Dieser neue Bereich simuliert Interaktionen im Personalwesen des Gesundheitswesens, inklusive Anfragen zu Sozialleistungen, Urlaubsregelungen oder medizinischen Abrechnungen.

Diese Erweiterung führt zu einer bemerkenswerten Zunahme der Testabdeckung: insgesamt 213 Evaluierungsszenarien und 121 Tools stehen nun zur Verfügung, was einer Vervierfachung der Szenarien gegenüber der ersten Version entspricht. Die Szenarien wurden sorgfältig ausgewählt, um realistische und herausfordernde Situationen widerzuspiegeln, die Sprachagenten in der Praxis bewältigen müssen.

Validierung und Zugänglichkeit

Um die Relevanz und Fairness des Benchmarks zu gewährleisten, wurden alle Szenarien mit führenden Sprachmodellen wie OpenAI GPT-5.4, Google Gemini 3.1 Pro und Anthropic Claude Opus 4.6 validiert. Dies stellt sicher, dass der Benchmark anspruchsvoll, aber lösbar ist. Alle drei Datasets sind quelloffen und über die Hugging Face datasets-Bibliothek verfügbar, was Entwicklern und Forschern den einfachen Zugang und die Integration in eigene Projekte ermöglicht.

Designprinzipien der Daten

Die Entwicklung der EVA-Bench-Datasets folgte fünf zentralen Designprinzipien, die darauf abzielen, die Qualität und Anwendbarkeit der Evaluierung zu maximieren:

• Voice-first-Umfang: Es wurden nur Workflows ausgewählt, die in der Praxis typischerweise telefonisch abgewickelt werden, um realistische Gesprächsmuster widerzuspiegeln.
• Realismus: Tool-Schemata basieren auf realen APIs, und Szenarien berücksichtigen tatsächliche Unternehmensrichtlinien. Im Healthcare HRSD-Bereich wurden beispielsweise US-amerikanische Gesundheitspolitiken und Verwaltungssysteme integriert.
• Vielfalt: Um eine umfassende Bewertung zu ermöglichen, wurden Szenarien mit unterschiedlichem Schwierigkeitsgrad und verschiedenen Absichten (Einzelabsicht, Mehrfachabsicht und adversarische Anrufe) entwickelt. Auch Szenarien, in denen die Benutzerziele nicht erfüllbar sind, wurden berücksichtigt, da diese in der Realität häufig vorkommen.
• Authentifizierung: Da Authentifizierungsabläufe oft Fehlerquellen darstellen, sind diese in allen Domänen von EVA-Bench integriert. Die spezifischen Mechanismen sind auf die jeweilige Aufgabe abgestimmt, zum Beispiel OTP-basierte Verifizierungen.
• Reproduzierbarkeit: Jedes Szenario ist so konzipiert, dass es genau einen korrekten Lösungspfad hat. Benutzerziele, initiale Datenbankzustände und erwartete Endzustände sind präzise definiert, um konsistente Evaluierungsergebnisse zu gewährleisten.

Szenariogenerierung und Validierung

Die Szenarien werden mittels SyGra, einer graphenbasierten Pipeline zur synthetischen Datengenerierung, erstellt, wobei GPT-5.4 als Kerntechnologie dient. Jedes Szenario umfasst drei konsistente Komponenten, die gemeinsam generiert werden, um Inkonsistenzen zu vermeiden:

• Benutzerziel: Dieses ist als Entscheidungsbaum strukturiert, der alle möglichen Situationen abdeckt, denen der Simulator begegnen könnte. Es legt fest, welche Informationen der Benutzer anfordern und wie er auf verschiedene Antworten reagieren soll.
• Initiale Szenariodatenbank: Der Backend-Zustand, den die Tools des Agenten während des Szenarios abfragen und modifizieren. Dieser wird gemeinsam mit dem Benutzerziel generiert, um Konsistenz zu gewährleisten.
• Erwarteter finaler Datenbankzustand (Ground Truth): Dieser wird durch Ausführung des Generierungs-LLM auf den Agentenanweisungen, dem Benutzerziel und der initialen Szenariodatenbank abgeleitet.

Diese gemeinsame Generierung ist von entscheidender Bedeutung, da die drei Komponenten stark voneinander abhängen. Unabhängige Generierung könnte zu Inkonsistenzen führen, die das Evaluierungsergebnis verfälschen würden. Nach jeder Generierung durchläuft das Szenario eine mehrstufige Validierungsschleife, die strukturelle Prüfungen, LLM-basierte Konsistenzprüfungen und die Überprüfung der vollständigen Gesprächsverläufe auf Einhaltung der Richtlinien und Aktionssequenzen umfasst.

Zusätzliche Validierungsschritte

Alle generierten Szenarien wurden manuell überprüft, um sicherzustellen, dass Richtlinien konsistent angewendet, Benutzerziele präzise definiert und erwartete Endzustände konsistent sind. Adversarische Szenarien wurden ebenfalls auf korrekte Spezifikation und eindeutige Richtlinienverstöße hin überprüft.

Zusätzlich wurden drei führende Modelle (OpenAI GPT-5.4, Google Gemini 3.1 Pro und Anthropic Claude Opus 4.6) mit einer textbasierten Version jedes Szenarios getestet. Bei Szenarien, in denen ein Modell keine Aufgabe abschließen konnte, wurde manuell untersucht, ob dies auf einen Modellfehler oder ein Problem im Dataset zurückzuführen war. Fehlerhafte Datensätze wurden korrigiert oder entfernt, um sicherzustellen, dass alle ausgewählten Beispiele von mindestens einem der Modelle lösbar sind.

Detaillierte Einblicke in die Datasets

Die neuen Datasets Enterprise ITSM und Healthcare HRSD wurden entwickelt, um unterschiedliche Herausforderungen für Sprachagenten zu adressieren. Beide erfordern eine genaue Transkription strukturierter benannter Entitäten über Sprache, unterscheiden sich jedoch in ihren primären Herausforderungen und der Anzahl der Tools.

Enterprise ITSM

Der Bereich Enterprise ITSM fokussiert sich auf die Komplexität technischer Supportanfragen. Hierbei müssen Sprachagenten in der Lage sein, verschiedene IT-Probleme zu identifizieren, Lösungen vorzuschlagen und entsprechende Aktionen in IT-Systemen auszuführen. Dies erfordert ein tiefes Verständnis von Fachterminologie und die Fähigkeit, über verschiedene Schnittstellen hinweg zu agieren.

Healthcare HRSD

Healthcare HRSD stellt Sprachagenten vor die Herausforderung, sensible und oft komplexe Anfragen im Personalwesen des Gesundheitssektors zu bearbeiten. Dies beinhaltet die Navigation durch umfassende Richtlinien, die Einhaltung von Datenschutzbestimmungen und die korrekte Anwendung von spezifischen Gesundheits- und Sozialleistungen. Die Genauigkeit und das Einfühlungsvermögen des Agenten sind hier von besonderer Bedeutung.

Mehrsprachige Unterstützung

Die aktuelle Evaluierung konzentriert sich auf Englisch. Um jedoch eine realistische Einschätzung der Leistung von Sprachagenten in einem globalen Kontext zu ermöglichen, wird EVA-Bench um mehrsprachige Unterstützung erweitert. Dies beinhaltet nicht nur die Anpassung der Gesprächssprache, sondern auch die Lokalisierung von Eigennamen, Adressen und Telefonnummern sowie die Anpassung der Evaluierungspipeline an die jeweilige Sprache und Kultur. Ziel ist es, ein authentisches Benutzererlebnis in der gewählten Sprache zu bieten und eine zuverlässige Bewertung über verschiedene Sprachen hinweg zu ermöglichen.

Verfügbarkeit der Daten

EVA-Bench ist vollständig quelloffen und unter der MIT-Lizenz verfügbar. Das Dataset, das Evaluierungsframework und das Leaderboard sind öffentlich zugänglich. Entwickler und Forscher können das Dataset von der Hugging Face Dataset-Seite herunterladen und einzelne Datensätze über die Hugging Face datasets-Bibliothek laden.

from datasets import load_dataset

# Airline Customer Service Management (CSM) — 50 scenarios
airline = load_dataset("ServiceNow-AI/eva-bench", "airline", split="test")
# Enterprise IT Service Management (ITSM) — 80 scenarios
itsm = load_dataset("ServiceNow-AI/eva-bench", "itsm", split="test")
# Healthcare HR Service Delivery (HRSD) — 83 scenarios
hrsd = load_dataset("ServiceNow-AI/eva-bench", "medical", split="test")

Jeder Datensatz enthält ein strukturiertes Benutzerziel, eine initiale Szenariodatenbank und den erwarteten finalen Datenbankzustand, was alles Notwendige für eine vollständige Bot-zu-Bot-Evaluierung bereitstellt. Weitere Informationen zur Einrichtung, zum Code und zu den Richtlinien für Beiträge finden Sie im GitHub-Repository.

Bibliographie

- Bogavelli, Tara et al. (2026). EVA-Bench: A New End-to-end Framework for Evaluating Voice Agents. arXiv preprint arXiv:2605.13841. - Hugging Face Blog. (2026, 4. Juni). EVA-Bench Data 2.0: 3 Domains, 121 Tools, 213 Scenarios. - Hugging Face Datasets. ServiceNow-AI/eva-bench. - GitHub. ServiceNow/eva: A New End-to-end Framework for Evaluating Voice Agents. - Ray, Soham et al. (2026). $\tau$-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains. arXiv preprint arXiv:2603.13686. - Pradhan, Bidyapati et al. (2025). SyGra: A Unified Graph-Based Framework for Scalable Generation, Quality Tagging, and Management of Synthetic Data. arXiv preprint arXiv:2508.15432.