Quantitative Bewertung der geometrischen Konsistenz in generierten Videos mit PDI-Bench

Die rapide Entwicklung generativer KI-Modelle hat die Erzeugung beeindruckend realistischer Videos ermöglicht. Diese Modelle werden zunehmend als implizite Weltmodelle verstanden, die das Potenzial haben, komplexe physikalische Dynamiken zu simulieren. Eine der größten Herausforderungen in diesem Bereich ist jedoch die quantitative Bewertung, ob diese Videos eine physikalisch plausible 3D-Struktur und Bewegung aufweisen. Bestehende Evaluationsmethoden stützen sich oft auf menschliches Urteilsvermögen oder gelernte Klassifikatoren, was zu Subjektivität führen und die Diagnose spezifischer geometrischer Fehler erschweren kann.

In diesem Kontext wurde ein neues Framework namens PDI-Bench (Perspective Distortion Index) vorgestellt. Dieses Framework zielt darauf ab, die geometrische Kohärenz in generierten Videos objektiv zu überprüfen. Es bietet eine methodische Grundlage, um die Einhaltung physikalischer Gesetze in den generierten Inhalten zu bewerten, was für die Weiterentwicklung von KI-Weltmodellen von entscheidender Bedeutung ist.

Die Herausforderung der geometrischen Konsistenz

Die Erzeugung von Videos, die nicht nur visuell ansprechend, sondern auch physikalisch korrekt sind, stellt ein komplexes Problem dar. Modelle wie Sora haben zwar die Fähigkeit demonstriert, hochauflösende visuelle Sequenzen zu erzeugen, die oft von der Realität kaum zu unterscheiden sind. Dennoch leiden diese Modelle häufig unter strukturellen Halluzinationen, zeitlichen Inkonsistenzen und Verletzungen der Kausalität. Dies deutet darauf hin, dass sie eher Pixelstatistiken nachahmen, als physikalische Prinzipien zu internalisieren.

Die Notwendigkeit einer präzisen geometrischen Konsistenz wird besonders deutlich, wenn man die "Trinity of Consistency" betrachtet, ein theoretisches Rahmenwerk, das für robuste Weltmodelle als grundlegend erachtet wird. Diese Dreifaltigkeit umfasst:

• Modale Konsistenz: Die Fähigkeit, heterogene Informationen (Text, Bild, etc.) in einem einheitlichen semantischen Raum auszurichten.
• Räumliche Konsistenz: Die Fähigkeit, eine 3D-bewusste Darstellung zu konstruieren, die Geometrie, Okklusion und Objektpermanenz respektiert.
• Temporale Konsistenz: Die Einhaltung physikalischer Gesetze und kausaler Logik über die Zeit.

PDI-Bench konzentriert sich primär auf die räumliche Konsistenz, die als geometrische Grundlage für die statische Plausibilität einer simulierten Welt dient. Ohne diese Grundlage können semantische Darstellungen, die keine geometrischen Entitäten besitzen, die Navigation und Interaktion eines Agenten in einem dreidimensionalen Raum nicht unterstützen.

PDI-Bench: Ein quantitativer Ansatz zur Bewertung

PDI-Bench stellt einen signifikanten Fortschritt in der quantitativen Bewertung von geometrischer Konsistenz dar. Das Framework arbeitet in mehreren Schritten:

Objektzentrierte Beobachtungen und 3D-Rekonstruktion

Zunächst werden aus einem generierten Videoclip objektzentrierte Beobachtungen gewonnen. Dies geschieht mithilfe modernster Segmentierungs- und Punktverfolgungstechnologien wie SAM 2, MegaSaM und CoTracker3. Diese Werkzeuge ermöglichen es, einzelne Objekte im Video zu identifizieren und ihre Bewegung über die Zeit zu verfolgen. Anschliessend werden diese 2D-Beobachtungen mittels monokularer Rekonstruktion in 3D-Weltkoordinaten überführt. Dieser Schritt ist entscheidend, da er eine Brücke zwischen der 2D-Bildebene und der zugrunde liegenden 3D-Geometrie schlägt.

Projektiv-geometrische Residuen und Fehlerdimensionen

Nach der 3D-Rekonstruktion berechnet PDI-Bench eine Reihe von projektiv-geometrischen Residuen. Diese Residuen quantifizieren Abweichungen von erwarteten geometrischen Eigenschaften und decken drei zentrale Fehlerdimensionen ab:

1. Skalen-Tiefen-Ausrichtung (Scale-Depth Alignment): Diese Dimension bewertet, ob die relative Grösse von Objekten im Video konsistent mit ihrer wahrgenommenen Tiefe ist. Fehler in diesem Bereich können dazu führen, dass Objekte unnatürlich gross oder klein erscheinen, wenn sie sich im Raum bewegen oder die Perspektive wechselt.
2. 3D-Bewegungskonsistenz (3D Motion Consistency): Hier wird überprüft, ob die Bewegung von Objekten im 3D-Raum physikalisch plausibel ist. Unstimmigkeiten können ruckartige oder unnatürliche Bewegungen umfassen, die nicht den Gesetzen der Kinematik entsprechen.
3. 3D-Strukturstabilität (3D Structural Rigidity): Diese Dimension beurteilt, ob die innere Struktur von Objekten über die Zeit stabil bleibt. Ein Objekt sollte seine Form beibehalten, es sei denn, es wird explizit verformt. Fehler hier würden sich als "schmelzende" oder "verbiegende" Objekte manifestieren, selbst wenn diese starr sein sollten.

Die quantitative Messung dieser Residuen ermöglicht eine präzise Diagnose von geometrischen Fehlern, die bei einer rein visuellen Inspektion möglicherweise übersehen werden.

PDI-Dataset für systematische Evaluation

Um eine systematische und umfassende Bewertung zu unterstützen, wurde das PDI-Dataset entwickelt. Dieser Datensatz umfasst vielfältige Szenarien, die speziell darauf ausgelegt sind, die geometrischen Beschränkungen generativer Modelle auf die Probe zu stellen. Durch die Anwendung von PDI-Bench auf eine breite Palette von Videos, die von verschiedenen hochmodernen Videogeneratoren erstellt wurden, konnten konsistente, geometriespezifische Fehlermodi identifiziert werden. Diese Fehlermodi werden von gängigen perzeptuellen Metriken, die sich oft auf die visuelle Qualität oder die Übereinstimmung mit Textprompts konzentrieren, nicht erfasst.

Die Bedeutung für KI-Weltmodelle

Die Ergebnisse von PDI-Bench liefern ein wichtiges diagnostisches Signal für den Fortschritt hin zu einer physikalisch fundierten Videogenerierung und der Entwicklung "physischer Weltmodelle". Ein echtes Weltmodell sollte in der Lage sein, nicht nur visuell überzeugende, sondern auch physikalisch korrekte Simulationen zu erzeugen, die grundlegende Gesetze wie Objektpermanenz, Kollisionsreaktionen und die Einhaltung der Schwerkraft respektieren.

Bisherige Evaluationsansätze, wie der Fréchet Video Distance (FVD), messen zwar die Gesamtqualität und die Verteilung von Features, sind aber nicht ausreichend sensitiv für geometrische Verzerrungen. Selbst fortgeschrittenere Benchmarks wie WorldModelBench, die Physik-Adhärenz und Anweisungsbefolgung bewerten, könnten von den detaillierten geometrischen Analysen von PDI-Bench profitieren. WorldModelBench identifiziert beispielsweise Verstösse gegen Newtons erstes Gesetz oder die Massenerhaltung, PDI-Bench bietet hierfür eine tiefere geometrische Begründung.

Die Integration von PDI-Bench in den Entwicklungsprozess von generativen Videomodellen ermöglicht es Entwicklern, gezielt an der Verbesserung der geometrischen Konsistenz zu arbeiten. Dies ist besonders relevant für Anwendungen in der Robotik, im autonomen Fahren und in interaktiven Simulationen, wo die physikalische Plausibilität der generierten Umgebung entscheidend ist.

Zukünftige Perspektiven

Die Forschung im Bereich der geometrischen Konsistenz ist dynamisch. Ansätze wie ViewRope, das geometrie-bewusste Rotations-Position-Embedding verwendet, und WorldPlay, das auf langfristige geometrische Konsistenz in Echtzeit-Weltmodellen abzielt, zeigen die Breite der aktuellen Bemühungen. Auch Metriken wie GeCo (Geometric Consistency), die Bewegungs- und Tiefeninformationen fusionieren, oder der World Consistency Score (WCS), der Objektpermanenz, Relationsstabilität, kausale Konformität und Flimmer-Penalties integriert, tragen zur umfassenden Bewertung bei.

PDI-Bench ergänzt diese Bemühungen, indem es einen spezifischen Fokus auf die quantitative Messung von 3D-Struktur und Bewegung legt. Die kontinuierliche Entwicklung solcher präzisen Evaluationsframeworks ist unerlässlich, um die Vision von KI-Weltmodellen zu realisieren, die nicht nur die Welt nachahmen, sondern sie auch mit einem tiefen Verständnis ihrer physikalischen Gesetze simulieren können.

Die Fähigkeit, physikalische Gesetze in generierten Videos zu verankern, wird nicht nur die visuelle Qualität verbessern, sondern auch den Weg für intelligentere und zuverlässigere KI-Systeme ebnen, die in der Lage sind, fundierte Entscheidungen in komplexen, dynamischen Umgebungen zu treffen. Die Arbeit an PDI-Bench ist ein wichtiger Schritt in diese Richtung.

Bibliographie

- Wu, J., Pi, Y., Zhang, Y., Li, Y., & Zou, X. (2026). Quantitative Video World Model Evaluation for Geometric-Consistency. Paper Reading Club.
- Lian, K., Cai, S., Du, Y., & Liang, Y. (2025). Toward memory-aided world models: Benchmarking via spatial consistency. arXiv preprint arXiv:2505.22976.
- Rakheja, A., Ashdhir, A., Bhattacharjee, A., & Sharma, V. (2025). World Consistency Score: A Unified Metric for Video Generation Quality. arXiv preprint arXiv:2508.00144.
- Xiang, C., Liu, J., Zhang, J., Yang, X., Fang, Z., Wang, S., ... & Zhu, J. (2026). Geometry-Aware Rotary Position Embedding for Consistent Video World Model. arXiv preprint arXiv:2602.07854.
- Sun, W., Zhang, H., Wang, H., Wu, J., Wang, Z., Wang, Z., ... & Guo, C. (2025). WorldPlay: Towards Long-Term Geometric Consistency for Real-Time Interactive World Modeling. arXiv preprint arXiv:2512.14614.
- Li, D., Fang, Y., Chen, Y., Yang, S., Cao, S., Wong, J., ... & Lu, Y. (2025). WorldModelBench: Judging Video Generation Models As World Models. arXiv preprint arXiv:2502.20694.
- Gu, L., Hur, J., Herrmann, C., Zhan, F., Zickler, T., Sun, D., & Pfister, H. (2025). GeCo: Evaluating Geometric Consistency for Video Generation via Motion and Structure. arXiv preprint arXiv:2512.22274.
- Dou, W. (2026). Measuring 3D Spatial Geometric Consistency in Dynamic Generated Videos. arXiv preprint arXiv:2603.19048.