Fortschritte bei multimodalen Sprachmodellen zur Verbesserung des zeitlichen Verständnisses in Audio und Video

Große Sprachmodelle (LLMs) haben beachtliche Fortschritte in den Bereichen Textgenerierung und -verständnis erzielt. Jüngste Entwicklungen erstrecken sich auf multimodale LLMs, die visuelle und akustische Eingaben integrieren. Diese Modelle haben jedoch nach wie vor Schwierigkeiten mit feinkörnigem, modalübergreifendem zeitlichem Verständnis, insbesondere bei der Korrelation von Ereignissen über Audio- und Videostreams hinweg. Ein neues Modell und ein neuer Datensatz namens OMCAT bzw. OCTAV wurden entwickelt, um diese Herausforderungen anzugehen. OCTAV (Omni Context and Temporal Audio Video) ist ein neuartiger Datensatz, der entwickelt wurde, um Ereignisübergänge in Audio und Video zu erfassen. OMCAT (Omni Context Aware Transformer) ist ein leistungsstarkes Modell, das RoTE (Rotary Time Embeddings), eine innovative Erweiterung von RoPE, nutzt, um die zeitliche Grundlage und die Recheneffizienz bei zeitgebundenen Aufgaben zu verbessern. Durch eine robuste dreistufige Trainings-Pipeline – Feature-Alignment, Instruction-Tuning und OCTAV-spezifisches Training – zeichnet sich OMCAT durch ein modalübergreifendes zeitliches Verständnis aus. Das Modell zeigt eine hochmoderne Leistung bei Aufgaben zur audiovisuellen Fragenbeantwortung (AVQA) und dem OCTAV-Benchmark und zeigt signifikante Fortschritte beim zeitlichen Denken und der modalübergreifenden Ausrichtung, was durch umfassende Experimente und Ablationsstudien bestätigt wurde. Der Datensatz und der Code werden öffentlich zugänglich gemacht. Die Demo-Seite ist unter https://om-cat.github.io/ verfügbar. Die Notwendigkeit eines solchen Modells ergibt sich aus den Herausforderungen, denen sich multimodale LLMs beim Verständnis der zeitlichen Abfolge von Ereignissen in Audio- und Videostreams gegenübersehen. Obwohl diese Modelle bei Aufgaben wie der Bildbeschreibung und der Beantwortung einfacher Fragen zu Videos beeindruckende Ergebnisse erzielt haben, kämpfen sie mit komplexeren Szenarien, die ein nuanciertes Verständnis zeitlicher Beziehungen erfordern. Beispielsweise kann es für ein multimodales LLM schwierig sein, eine Frage wie "Was hat die Person getan, nachdem sie den Ball geworfen hat?" in einem Video zu beantworten, da dies erfordert, die Aktionen in der visuellen Sequenz zu verfolgen und sie mit den entsprechenden Zeitpunkten im Audio zu korrelieren. OCTAV wurde entwickelt, um diese Einschränkungen zu beheben, indem ein umfangreicher Datensatz bereitgestellt wird, der speziell darauf ausgelegt ist, die Fähigkeit von Modellen zu bewerten und zu trainieren, zeitliche Informationen über Modalitäten hinweg zu verstehen. Der Datensatz besteht aus einer großen Anzahl von Audio-Video-Paaren, die mit detaillierten Anmerkungen versehen sind, die die zeitliche Abfolge von Ereignissen innerhalb jedes Paares beschreiben. Diese Anmerkungen umfassen den Beginn und das Ende jedes Ereignisses sowie seine semantische Beschriftung, die ein feinkörniges Verständnis der zeitlichen Dynamik innerhalb der Daten ermöglicht. OMCAT baut auf diesem Datensatz auf, indem es eine neuartige Modellarchitektur einführt, die darauf zugeschnitten ist, die zeitlichen Beziehungen zwischen Audio- und visuellen Eingaben zu erfassen. Im Mittelpunkt dieses Modells steht die Verwendung von RoTE, einer Erweiterung des RoPE-Mechanismus (Rotary Position Embedding), der sich bei verschiedenen NLP-Aufgaben als effektiv erwiesen hat. RoTE erweitert RoPE, indem es nicht nur Positionsinformationen, sondern auch zeitliche Informationen in die Einbettungen von Token einbezieht, sodass das Modell die Reihenfolge und Dauer von Ereignissen innerhalb einer Sequenz besser erfassen kann. Durch die Integration von RoTE in seine Architektur kann OMCAT eine überlegene Leistung bei Aufgaben zur audiovisuellen Fragenbeantwortung und anderen Benchmarks erzielen, die ein genaues zeitliches Verständnis erfordern. Die Fähigkeit des Modells, zeitliche Informationen effektiv zu verarbeiten, ermöglicht es ihm, komplexe Beziehungen zwischen Ereignissen in Audio- und Videostreams zu erkennen und so genauere und aussagekräftigere Vorhersagen zu treffen. Darüber hinaus bietet OMCAT durch die Einbeziehung von RoTE auch Vorteile in Bezug auf die Recheneffizienz. Herkömmliche Methoden zur Modellierung zeitlicher Informationen in multimodalen LLMs beinhalten oft komplexe Aufmerksamkeitsmechanismen oder wiederkehrende Architekturen, die rechenintensiv sein können und die Trainingszeiten verlängern. RoTE hingegen ermöglicht es OMCAT, zeitliche Informationen auf eine einfachere und effizientere Weise zu erfassen, wodurch der Rechenaufwand für das Training und die Inferenz reduziert wird. Zusammenfassend lässt sich sagen, dass OMCAT und OCTAV einen bedeutenden Beitrag zum Bereich der multimodalen LLMs darstellen. Durch die Einführung eines neuen Datensatzes, der speziell auf die Erfassung zeitlicher Beziehungen zwischen Modalitäten zugeschnitten ist, und die Entwicklung einer neuartigen Modellarchitektur, die RoTE nutzt, um zeitliche Informationen effektiv zu verarbeiten, ebnen diese Innovationen den Weg für die Entwicklung intelligenterer und leistungsfähigerer KI-Systeme, die in der Lage sind, die Nuancen multimodaler Daten vollständig zu verstehen. Mit seiner Fähigkeit, sowohl räumliche als auch zeitliche Informationen zu erfassen, hat OMCAT das Potenzial, die Leistung bei einer Vielzahl von Anwendungen zu revolutionieren, darunter die Videoanalyse, die Fragenbeantwortung, die Zusammenfassung und mehr. Da sich das Gebiet der KI ständig weiterentwickelt, versprechen Ansätze wie OMCAT und OCTAV, die Grenzen des Möglichen zu verschieben und uns einer Zukunft näher zu bringen, in der Maschinen die Welt um uns herum wirklich verstehen und mit ihr interagieren können. Bibliographie: - https://arxiv.org/abs/2305.15358 - https://arxiv.org/abs/2111.03250 - https://neurips.cc/virtual/2023/papers.html - https://ojs.aaai.org/index.php/AAAI/article/view/25301 - https://proceedings.neurips.cc/paper_files/paper/2023 - https://aclanthology.org/volumes/2020.emnlp-main/ - https://assets.amazon.science/05/0f/8bcfcdbd4784864bd131d73b6719/context-aware-transformer-pre-training-for-answer-sentence-selection.pdf - https://huggingface.co/datasets/RealTimeData/github_latest/viewer - https://www.ubicomp.org/ubicomp2003/adjunct_proceedings/proceedings.pdf - http://lac.linuxaudio.org/2007/download/lac07_proceedings.pdf