Innovativer Ansatz zur Szenenübergangserkennung in Videos mit OmniShotCut

Die Produktion von Videoinhalten ist ein komplexes Feld, das von subtilen künstlerischen Entscheidungen bis hin zu technischen Herausforderungen reicht. Eine grundlegende Aufgabe in der Videobearbeitung und -analyse ist die Erkennung von Szenenübergängen, bekannt als Shot Boundary Detection (SBD). Während Menschen in der Regel mühelos erkennen können, wo ein Kameraschuss endet und ein neuer beginnt, stellt dies für künstliche Intelligenz (KI)-Systeme oft eine erhebliche Hürde dar. Traditionelle Modelle stoßen an ihre Grenzen, wenn sie mit künstlerischen Überblendungen, Wischübergängen oder schnellen, abrupten Schnitten konfrontiert werden, die je nach Genre variieren können. Eine kürzlich veröffentlichte Forschung stellt mit OmniShotCut einen neuen, ganzheitlichen Ansatz vor, der diese Limitationen adressiert und die SBD-Fähigkeiten von KI-Systemen maßgeblich erweitert.

Herausforderungen in der traditionellen Shot Boundary Detection

Die automatische Identifizierung von Szenenübergängen und die Unterteilung eines Videos in kohärente Shots ist seit Langem ein Forschungsfeld in der Videoverarbeitung. Trotz der scheinbaren Reife dieses Bereichs stagnierte der Fortschritt in den letzten Jahren. Bestehende SBD-Methoden weisen oft mehrere Einschränkungen auf:

• Mangelnde Interpretierbarkeit: Die erkannten Übergänge sind oft schwer zu interpretieren, da unklar bleibt, ob eine Grenze einem Szenenwechsel oder einem Bearbeitungseffekt entspricht.
• Ungenauigkeit bei subtilen Übergängen: Kleinere, aber dennoch störende Diskontinuitäten, wie plötzliche Sprünge (Sudden Jumps), werden häufig übersehen.
• Abhängigkeit von unzuverlässigen Annotationen: Manuelle Annotationen sind arbeitsintensiv und oft unpräzise, insbesondere bei graduellen Übergängen, wo die exakten Start- und Endbilder schwer zu bestimmen sind.
• Veraltete Benchmarks: Bestehende Bewertungsdatensätze sind oft veraltet und spiegeln nicht die Vielfalt und Komplexität moderner Internet-Videoinhalte wider.

OmniShotCut: Ein ganzheitlicher relationaler Ansatz

OmniShotCut reformuliert die SBD als strukturierte relationale Vorhersage. Das System schätzt nicht nur die zeitlichen Bereiche von Shots, sondern auch deren intrashot-Beziehungen (Eigenschaften des Shots selbst) und intershot-Beziehungen (Beziehung zum vorhergehenden Shot). Dies wird durch einen Shot-Query-basierten Dense Video Transformer ermöglicht. Dieser Ansatz ermöglicht ein vereinheitlichtes Modell für die Vorhersage von Shot-Bereichen und das relationale Verständnis.

Intra- und Intershot-Beziehungen

Das Modell klassifiziert Shots in acht Hauptkategorien für Intrashot-Beziehungen, darunter generische Videos, Überblendungen, Wischübergänge, Schiebeeffekte, Zooms, Fades und Türöffnungs-Effekte. Für Intershot-Beziehungen wird klassifiziert, ob die Grenze einem Übergang, einem harten Schnitt oder einem plötzlichen Sprung entspricht. Diese detaillierte Klassifizierung bietet ein tieferes Verständnis der Video-Struktur.

Synthetische Daten und der OmniShotCutBench

Ein wesentlicher Bestandteil von OmniShotCut ist die Verwendung eines vollständig synthetischen Datenansatzes. Um die Ungenauigkeiten manueller Labels zu umgehen, wurde eine Pipeline entwickelt, die Übergänge automatisch mit präzisen Grenzen und parametrisierbaren Varianten reproduziert. Diese Methode ermöglicht die Erstellung eines Trainingsdatensatzes mit exakten Übergangsbereichen, der auch seltene, aber realistische Fälle abdeckt, die in bestehenden Datensätzen unterrepräsentiert sind. Insgesamt wurden 11,9 Millionen synthetische Übergänge für das Training generiert.

Um eine umfassende Bewertung zu ermöglichen, wurde zudem der OmniShotCutBench eingeführt. Dieser moderne SBD-Benchmark enthält breit gefächerte, hochkomplexe Videoquellen aus Plattformen wie YouTube, TikTok und Bilibili. Er berücksichtigt sowohl Intra- als auch Intershot-Beziehungs-Labels und bietet somit eine ganzheitliche und diagnostische Bewertung für moderne Szenenübergangserkennung.

Architektur und Trainingsdetails

Die Kernarchitektur von OmniShotCut ist ein Shot-Query-basierter End-to-End-Video-Transformer. Dieser besteht aus einem Bild-Encoder, einem Transformer-Encoder und einem Transformer-Decoder. Der Transformer-Encoder verarbeitet die kodierten Frame-Features, wobei eine 3D-Positionskodierung die räumlichen und zeitlichen Beziehungen berücksichtigt. Der Transformer-Decoder verwendet lernbare Shot-Queries, um Shot-Bereiche sowie Intra- und Intershot-Beziehungen vorherzusagen. Die Bereichsvorhersage wird als diskretes Klassifizierungsproblem über Frame-Indizes formuliert, was zu einer verbesserten Lokalisierungspräzision führt.

Das Training des Modells erfolgte auf 8 Nvidia A100 GPUs über 70 Epochen. Dabei wurden verschiedene Online-Augmentationen eingesetzt, darunter horizontale und vertikale Spiegelungen, Farbveränderungen, Weichzeichnungen sowie Gaußsches und Poissonsches Rauschen.

Experimentelle Ergebnisse und Leistungsfähigkeit

Die experimentellen Ergebnisse auf dem OmniShotCutBench zeigen, dass OmniShotCut die Leistung bestehender SBD-Methoden signifikant übertrifft. Insbesondere bei der Lokalisierung von Übergängen und der Erkennung plötzlicher Sprünge erzielt das Modell herausragende Werte. Während traditionelle Methoden wie PySceneDetect, TransNetV2 und AutoShot F1-Scores zwischen 0,75 und 0,82 erreichen, erreicht OmniShotCut einen F1-Score von 0,883.

Ein besonderer Fokus liegt auf der Transition IoU (Intersection over Union), die bei OmniShotCut 0,632 beträgt, während andere Modelle lediglich Werte zwischen 0,18 und 0,25 aufweisen. Dies deutet darauf hin, dass die vorhergesagten Grenzen bei OmniShotCut wesentlich genauer mit den tatsächlichen Übergangsbereichen übereinstimmen. Die Genauigkeit bei der Erkennung plötzlicher Sprünge liegt bei 0,761, ebenfalls deutlich über den Vergleichsmodellen. Darüber hinaus erreicht das Modell eine Intrashot-Genauigkeit von 0,959 und eine Intershot-Genauigkeit von 0,836, Funktionen, die von früheren Methoden nicht unterstützt wurden.

Potenzial für die Zukunft

Die Entwicklung von OmniShotCut hat weitreichende Implikationen für die Videobearbeitung und KI-gestützte Videoanalyse. Durch die verbesserte Fähigkeit, Szenenübergänge präzise zu erkennen und zu klassifizieren, könnten zukünftige Anwendungen profitieren:

• Automatisierte Videobearbeitung: Software könnte Videos automatisch bereinigen, Clips nach Stil organisieren oder sogar komplexere Bearbeitungsaufgaben übernehmen.
• Video-Suchmaschinen: Präzisere Segmentierung ermöglicht eine genauere Indizierung und Suche innerhalb von Videodatensätzen.
• KI-generierte Videos: Da KI-Modelle für die Videogenerierung auf gut segmentierte Daten angewiesen sind, stellt OmniShotCut eine wichtige Grundlage für die Entwicklung neuer, leistungsfähigerer Tools dar.

Die Forschung zeigt, dass vollständig synthetische Daten ein skalierbares und effektives Paradigma für die nächste Generation von SBD-Datensätzen darstellen. Zukünftige Arbeiten könnten die Modellierung noch anspruchsvollerer künstlerischer und semantisch dynamischer Übergänge umfassen und dabei möglicherweise auf branchenübliche Übergangsvorlagen zurückgreifen.

Bibliographie

- Wang, B., Xu, G., Tang, Z., Zhang, J., & Cheng, Z. (2026). OmniShotCut: Holistic Relational Shot Boundary Detection with Shot-Query Transformer. arXiv preprint arXiv:2604.24762. - UVA Computer Vision Lab. (n.d.). OmniShotCut: Holistic Relational Shot Boundary Detection. Abgerufen von https://uva-computer-vision-lab.github.io/OmniShotCut_website/ - Summarized Science. (2026, 28. April). AI Is Revolutionizing Movie Editing: Meet The Shot-Query Transformer [Video]. YouTube. Abgerufen von https://www.youtube.com/watch?v=vET2MYhtlOs - Gygli, M. (2017). Ridiculously Fast Shot Boundary Detection with Fully Convolutional Neural Networks. arXiv preprint arXiv:1705.08214. - Pardo, A., Heilbron, F. C., Alcázar, J. L., Thabet, A., & Ghanem, B. (2022). MovieCuts: A New Dataset and Benchmark for Cut Type Recognition. In European Conference on Computer Vision (ECCV). - Zhu, W., Huang, Y., Xie, X., Liu, W., Deng, J., Zhang, D., Wang, Z., & Liu, J. (2023). AutoShot: A Short Video Dataset and State-of-the-Art Shot Boundary Detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. - Soucek, T., & Lokoc, J. (2024). TransNet V2: An Effective Deep Network Architecture for Fast Shot Transition Detection. In Proceedings of the 32nd ACM International Conference on Multimedia.