Transformation der Kreativität: Große Sprachmodelle als Motor für KI-gestützte Animationen

Große Sprachmodelle (Large Language Models, LLMs) gehören zu den aufregendsten Entwicklungen im Bereich Künstliche Intelligenz (KI) und haben das Potenzial, viele kreative Bereiche zu revolutionieren. Zwar sind ihre Anwendungsmöglichkeiten vielfältig, doch die Nutzung großer Sprachmodelle für die Animation ist bisher wenig erforscht und stellt eine Reihe von Herausforderungen dar, insbesondere hinsichtlich der effektiven Beschreibung von Bewegungen in natürlicher Sprache.

Apple hat kürzlich ein innovatives Werkzeug namens Keyframer vorgestellt, das die Animation statischer Bilder (SVGs) mittels natürlicher Sprache ermöglicht. Das Tool wurde in Zusammenarbeit mit professionellen Animationsdesignern und Ingenieuren entwickelt und unterstützt die Erkundung und Verfeinerung von Animationen durch eine Kombination aus Eingabeaufforderungen (Prompts) und direkter Bearbeitung der generierten Ergebnisse. Keyframer erleichtert es Benutzern auch, Designvarianten anzufordern, was den Vergleich und die Ideenfindung unterstützt.

In einer Studie mit 13 Teilnehmenden trug Apple zur Charakterisierung von Benutzeraufforderungsstrategien bei, einschließlich einer Taxonomie von semantischen Prompt-Typen zur Beschreibung von Bewegungen und einem "dekomponierten" Aufforderungsstil, bei dem Benutzer ihre Ziele kontinuierlich an die generierten Ergebnisse anpassen. Zudem zeigte sich, dass das direkte Bearbeiten in Verbindung mit Prompts zu einer Iteration über die üblichen einmaligen Prompt-Schnittstellen hinausführt, wie sie in generativen Werkzeugen heutzutage verbreitet sind.

Diese Entwicklung wirft ein neues Licht darauf, wie LLMs eine breite Nutzerschaft beim Erstellen von Animationen ermächtigen könnten. Sie bietet die Möglichkeit, auch ohne umfassende Vorkenntnisse im Bereich der Animation professionell wirkende Ergebnisse zu erzielen.

Die Bedeutung großer Sprachmodelle im Kontext der KI ist nicht zu unterschätzen. Sie werden auf riesigen Text- und Datensätzen aus dem Internet trainiert, die Bücher, Artikel, Videotranskripte und andere Inhalte umfassen. Durch tiefe Lernverfahren können sie Inhalte verstehen und Aufgaben wie Inhaltszusammenfassung, -erzeugung und Vorhersagen basierend auf ihren Eingaben und ihrem Training durchführen. Die Trainingsprozesse dieser Modelle sind umfangreich und erfordern eine sorgfältige Feinabstimmung, bevor sie zuverlässige und nützliche Ergebnisse liefern können.

LLMs werden für eine Vielzahl von Aufgaben eingesetzt, die normalerweise viel Zeit in Anspruch nehmen würden, wie Texterzeugung, Übersetzung, Zusammenfassung von Inhalten, Neuschreiben, Klassifizierung und Sentimentanalyse. Sie können auch Chatbots antreiben, die es Kunden ermöglichen, Fragen zu stellen und Hilfe oder Ressourcen zu suchen, ohne in eine Support-Warteschlange eingereiht zu werden.

In der Marketingbranche ermöglichen LLMs und KI-gestützte Tools, Arbeitsabläufe bei der Content-Erstellung zu beschleunigen und verschiedene Elemente der Customer Journey zu unterstützen. LLMs sind mächtige Werkzeuge zur Effizienzsteigerung von Marketingprozessen, zum Management der Markenreputation und zur Verbesserung der Reaktionszeiten beim Kundensupport.

Große Sprachmodelle werden in verschiedenen Formen trainiert, zu denen Null-Shot-Modelle, feinabgestimmte oder domänenspezifische Modelle, Sprachrepräsentationsmodelle und multimodale Modelle gehören. Jeder Modelltyp hat spezifische Trainingsmethoden und Einsatzgebiete.

Die Schlüsselkomponenten großer Sprachmodelle, die Anfragen orchestrieren und Antworten auf Prompts generieren, umfassen die Einbettungsschicht, die Feedforward-Schicht, die rekurrente Schicht und den Aufmerksamkeitsmechanismus. Diese Komponenten arbeiten zusammen, um die semantischen Beziehungen zwischen Wörtern zu erfassen, Muster und Beziehungen in den Daten zu verarbeiten, sequenzielle Abhängigkeiten zu erfassen und sich auf bestimmte Teile des Inputs zu konzentrieren.

Die Forschung von Apple in Bezug auf die Nutzung großer Sprachmodelle für die Ausnutzung von Unsicherheiten bei der automatischen Spracherkennung (ASR) zeigt das Potenzial dieser Technologie auf. Mit kreativem Prompt-Engineering und kontextuellem Lernen können große Sprachmodelle eine Vielzahl von textbasierten NLP-Aufgaben generalisieren. Für eine gute Leistung bei Aufgaben zum Verständnis gesprochener Sprache (SLU) müssen LLMs entweder mit einer integrierten Sprachmodalität ausgestattet sein oder sich auf die Sprach-zu-Text-Konvertierung durch ein ASR-System von der Stange verlassen.

In der Studie von Apple wurde das Problem der Sprachintentionserkennung angegangen, bei dem eine hohe Wortfehlerrate (WER) dazu führen kann, dass das LLM die gesprochene Absicht nicht richtig versteht. Um dieses Problem zu mildern, wurde vorgeschlagen, das LLM mit einer n-besten Liste von ASR-Hypothesen anstelle der fehleranfälligen 1-besten Hypothese zu prompten. Die Wirksamkeit dieses Ansatzes wurde sowohl bei einem binären Spracherkennungstest als auch bei einer Keyword-Spotting-Aufgabe demonstriert, bei denen Systeme, die n-besten Listen-Prompts verwenden, besser abschnitten als solche, die 1-besten ASR-Ausgaben verwenden.

Durch die kontinuierliche Forschung und Entwicklung im Bereich der großen Sprachmodelle und ihrer Anwendung in verschiedenen Domänen, einschließlich der Animation, trägt Apple dazu bei, die Grenzen des Möglichen in der KI zu erweitern und neue Wege für die Nutzung dieser fortschrittlichen Technologien zu eröffnen.

Quellen:
1. arXiv:2304.12244 [cs.CL] - "WizardLM: Empowering Large Language Models to Follow Complex Instructions" - Can Xu et al.
2. Bundesamt für Sicherheit in der Informationstechnik (BSI) - "Artificial Intelligence in Language Processing"
3. GrowthLoop - "Large Language Models (LLM)"
4. Apple Machine Learning Research - "Leveraging Large Language Models"
5. Hugging Face - "Keyframer: Empowering Animation Design using Large Language Models" - @_akhaliq