Trotz der Fortschritte bei diffusionsbasierten Text-to-Music (TTM)-Methoden ist eine effiziente Generierung von Musik in hoher Qualität nach wie vor eine Herausforderung. Ein Forscherteam hat nun "Presto!" vorgestellt, einen neuen Ansatz zur Beschleunigung der Musikgenerierung mithilfe von Künstlicher Intelligenz (KI). Die im Oktober 2023 veröffentlichte Forschungsarbeit beschreibt, wie Presto! die Latenzzeiten von Musikdiffusionstransformatoren durch die Reduzierung von Sampling-Schritten und der Kosten pro Schritt während der Inferenz deutlich reduziert.
Reduzierung der Sampling-Schritte durch Distribution Matching Distillation
Um die Anzahl der Sampling-Schritte zu reduzieren, setzt Presto! auf eine neue Methode namens Score-based Distribution Matching Distillation (DMD). DMD ist die erste GAN-basierte Destillationsmethode für TTM und wurde speziell für die EDM-Familie von Diffusionsmodellen entwickelt.
Senkung der Kosten pro Schritt durch verbesserte Layer-Destillation
Neben der Reduzierung der Sampling-Schritte zielt Presto! auch darauf ab, die Kosten pro Schritt zu senken. Dies wird durch eine einfache, aber wirkungsvolle Verbesserung einer bestehenden Layer-Destillationsmethode erreicht. Durch eine bessere Erhaltung der Varianz des Hidden State während des Lernprozesses wird die Qualität der generierten Musik erhöht.
Kombination von Schritt- und Layer-Destillation für eine duale Beschleunigung
Die wahre Stärke von Presto! liegt in der Kombination der Schritt- und Layer-Destillationsmethoden. Dieser duale Ansatz ermöglicht es, hochwertige Musik mit verbesserter Diversität zu generieren und gleichzeitig die Geschwindigkeit des zugrunde liegenden Modells deutlich zu erhöhen.
Beeindruckende Ergebnisse: Bis zu 18-fache Beschleunigung der Musikgenerierung
In Tests konnte Presto! beeindruckende Ergebnisse erzielen. Im Vergleich zum Basismodell konnte eine Beschleunigung um das 10- bis 18-fache erreicht werden. So konnte beispielsweise die Latenzzeit für ein 32 Sekunden langes Musikstück in Mono von 230 ms auf 435 ms für Stereo bei 44,1 kHz reduziert werden. Damit ist Presto! nach aktuellem Stand der Forschung die schnellste TTM-Methode, die gleichzeitig eine hohe Audioqualität liefert.
Fazit: Presto! ebnet den Weg für effizientere und zugängliche KI-Musikgenerierung
Presto! stellt einen bedeutenden Fortschritt im Bereich der KI-basierten Musikgenerierung dar. Durch die Kombination innovativer Destillationsmethoden ermöglicht Presto! eine signifikante Beschleunigung der Generierung, ohne dabei Kompromisse bei der Qualität der Musik einzugehen. Dies ebnet den Weg für effizientere und zugängliche KI-Tools zur Musikproduktion und eröffnet Musikern neue kreative Möglichkeiten.
Bibliographie
- https://www.mdpi.com/2076-3417/13/9/5630
- https://www.researchgate.net/publication/379449136_Mustango_Toward_Controllable_Text-to-Music_Generation
- https://github.com/underlines/awesome-ml/blob/master/llm-tools.md
- https://aclanthology.org/events/emnlp-2023/
- https://idportal.gsis.jp/wp-content/uploads/sites/3/2016/01/ICCE2014-Main-Proceedings-lite-1.pdf
- https://github.com/b0o/starred/blob/master/by-language.md
- https://oro.open.ac.uk/69286/1/Tom%20Hewitt%20Thesis%20Final%20Consolidated%20Corrected%2011%20February%202020.pdf
- https://site.pdn.ac.lk/ipurse/2024/docs/iPURSE%20preceedings%202024.pdf
- https://www.thresholdpodcast.org/season04
- https://injuryfacts.nsc.org/work/industry-incidence-rates/how-to-benchmark/
