Die Übertragung von zeitlichem Denken von Text auf Video

Künstliche Intelligenz (KI) hat in den letzten Jahren enorme Fortschritte gemacht, insbesondere im Bereich des maschinellen Lernens. Ein besonders spannendes Feld ist die Verarbeitung natürlicher Sprache (NLP), wo KI-Modelle lernen, menschliche Sprache zu verstehen und zu generieren. Diese Modelle, bekannt als Large Language Models (LLMs), haben beeindruckende Fähigkeiten in der Textverarbeitung bewiesen. Nun richtet sich der Fokus auf die Anwendung dieser Fähigkeiten auf komplexere Datenformen, wie z.B. Videos.

Herausforderungen der Video-LLMs

Video-LLMs, also LLMs, die für die Verarbeitung von Videodaten trainiert werden, zeigen vielversprechende Ergebnisse im Bereich des Videoverständnisses. Sie haben jedoch Schwierigkeiten, zeitliche Veränderungen zu verfolgen und logische Schlussfolgerungen über zeitliche Beziehungen anzustellen. Diese Einschränkung wurde in der Vergangenheit oft auf eine ineffektive zeitliche Kodierung der visuellen Eingaben zurückgeführt. Neuere Studien deuten jedoch darauf hin, dass das Problem tiefer liegt.

Eine aktuelle Forschungsarbeit mit dem Titel "Temporal Reasoning Transfer from Text to Video" hat diese Problematik genauer untersucht. Die Ergebnisse legen nahe, dass die eigentlichen Videodarstellungen genügend Informationen enthalten, um selbst kleinen, spezialisierten Klassifikatoren eine perfekte Genauigkeit zu ermöglichen. Überraschenderweise liegt der Engpass in der Fähigkeit der Video-LLMs zum zeitlichen Denken in der zugrunde liegenden LLM selbst. Diese haben Schwierigkeiten mit zeitlichen Konzepten, was sich in schlechten Ergebnissen bei textbasierten zeitlichen Frage-Antwort-Aufgaben zeigt.

Textuelles Zeitverständnis als Schlüssel

Basierend auf dieser Erkenntnis wurde ein neuer Ansatz entwickelt: der Textual Temporal Reasoning Transfer (T3). T3 nutzt die Stärke von LLMs in der Textverarbeitung, um das zeitliche Denken in Video-LLMs zu verbessern. Anstatt aufwendig Videos mit komplexen zeitlichen Szenarien zu erstellen, synthetisiert T3 verschiedene zeitliche Denkaufgaben in reinem Textformat. Diese Aufgaben werden aus bestehenden Bild-Text-Datensätzen generiert.

Die Ergebnisse sind bemerkenswert: Ohne jegliche Videodaten verbessert T3 das zeitliche Verständnis von LLMs wie LongVA-7B signifikant. So konnte beispielsweise die Genauigkeit beim anspruchsvollen TempCompass-Benchmark um 5,3 Punkte gesteigert werden. Damit übertrifft das Modell sogar ShareGPT4Video-8B, welches mit 28.000 Videodaten trainiert wurde. Auch bei anderen Benchmarks schneidet das mit T3 verbesserte LongVA-7B Modell hervorragend ab und übertrifft teilweise deutlich größere Modelle.

Schlussfolgerung

Die Übertragung von zeitlichem Denken von Text auf Video ist ein vielversprechender Ansatz, um die Fähigkeiten von Video-LLMs zu verbessern. Anstatt die zeitliche Kodierung der Videodaten zu optimieren, konzentriert sich T3 auf die Stärkung des zugrunde liegenden Sprachmodells. Die Ergebnisse zeigen, dass diese Strategie äußerst effektiv ist und zu erheblichen Leistungssteigerungen führt. Es bleibt spannend zu beobachten, wie sich dieser Ansatz in Zukunft weiterentwickelt und welche neuen Möglichkeiten sich dadurch für KI-Anwendungen im Bereich der Videoverarbeitung ergeben.

Bibliographie

Li, L., Liu, Y., Yao, L., Zhang, P., An, C., Wang, L., Sun, X., Kong, L., & Liu, Q. (2024). Temporal Reasoning Transfer from Text to Video. *arXiv preprint arXiv:2410.06166*. Qian, L., Li, J., Wu, Y., Ye, Y., Fei, H., Chua, T.-S., Zhuang, Y., & Tang, S. (2024). Momentor: Advancing Video Large Language Model with Fine-Grained Temporal Reasoning. *arXiv preprint arXiv:2402.11435*. Cao, M., Yang, T., Weng, J., Zhang, C., Wang, J., & Zou, Y. (2022). LocVTP: Video-Text Pre-training for Temporal Localization. In *Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part XXX* (pp. 497-514). Springer Nature Switzerland. Saiz-Antón, J. (2023). End-to-End Temporal Relation Extraction in the Clinical Domain. In *Proceedings of the Text2Story'23 Workshop 2023*. Chen, H., Zhang, Y., Liu, P., Chen, Z., Liu, Z., & Sun, M. (2023). Back to the Future: Towards Explainable Temporal Reasoning with Large Language Models. *arXiv preprint arXiv:2310.02221*. Alsayyahi, O., & Inkpen, D. (2023). TIMELINE: Exhaustive Annotation of Temporal Relations Supporting the Automatic Ordering of Events in News Articles. *arXiv preprint arXiv:2310.16086*. Alayrac, J.-B., Donahue, J., Jeffrey, P., Simonyan, K., Anil, R., Hasson, K., ... & Lochbihler, A. (2024). Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context. *arXiv preprint arXiv:2403.04764*. Um, B., Kim, J., Kim, S., Kim, G., & Lee, K. (2024). MA-LMM: Memory-Augmented Large Multimodal Model for Long-Term Video Understanding. In *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition* (pp. 12143-12152). Wu, Y., Li, J., Qian, L., Ye, Y., Wang, Z., Zhu, H., ... & Tang, S. (2024). VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs. *arXiv preprint arXiv:2406.05063*. Kikoulos, V., Schmidt, A., & Faisal, A. A. (2024). Analysing zero-shot temporal relation extraction on clinical notes using temporal consistency. *arXiv preprint arXiv:2406.10255*. Wang, Z., Li, J., Qian, L., Chen, W., Zhang, H., Liu, P., ... & Tang, S. (2024). InternLM-XComposer-2.5: A Versatile Large Vision Language Model Supporting Long-Contextual Input and Output. *arXiv preprint arXiv:2407.01708*. Liu, H., Li, C., Wu, Q., Pan, P., Wang, Y., Wang, S., ... & Zhou, J. (2024). LLaVA-OneVision: Easy Visual Task Transfer. *arXiv preprint arXiv:2408.04681*. Ding, M., He, J., Chen, S., Chen, W., Zhang, Z., Huang, Y., ... & Han, X. (2024). Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution. *arXiv preprint arXiv:2409.07097*. Bochenska, K., & Bertrand, R. (2014, October). A Novel Approach for Video Temporal Annotation. In *International Conference on Multimedia Modeling* (pp. 301-312). Springer, Cham.