Die Vielfalt der PEFT-Techniken im Kontext des Fine-Tunings von KI-Modellen

Jenseits von LoRA: Effizientes Fine-Tuning neu gedacht

Die Anpassung großer Sprachmodelle (LLMs) und anderer KI-Modelle an spezifische Aufgaben ist ein zentraler Bestandteil der modernen KI-Entwicklung. Das sogenannte Fine-Tuning ermöglicht es Unternehmen, allgemeine Modelle für ihre individuellen Bedürfnisse zu optimieren. Eine der größten Herausforderungen hierbei ist der hohe Ressourcenverbrauch, insbesondere der Speicherbedarf, der mit dem Fine-Tuning einhergeht. Hier setzen Parameter-Efficient Fine-Tuning (PEFT)-Techniken an, die den Trainingsaufwand erheblich reduzieren.

Die Dominanz von LoRA – eine kritische Betrachtung

Unter den verschiedenen PEFT-Techniken hat sich Low-Rank Adaptation (LoRA) als de-facto-Standard etabliert. LoRA funktioniert, indem es dem Basismodell eine kleine Anzahl von Parametern hinzufügt, die ursprünglichen Modellgewichte einfriert und nur diese zusätzlichen, geringrangigen "Adapter"-Matrizen trainiert. Dies führt zu einer drastischen Reduzierung der zu trainierenden Parameter und somit zu einem geringeren Speicher- und Rechenaufwand.

Die Popularität von LoRA ist unbestreitbar. Eine Analyse von Modellkarten auf dem Hugging Face Hub zeigt, dass über 98% der Modelle, die eine PEFT-Technik nennen, LoRA verwenden. Auch im Bereich der Bildgenerierung sind über 95% der PEFT-Checkpoints LoRAs. Diese Zahlen verdeutlichen die weit verbreitete Akzeptanz und Nutzung von LoRA in der Praxis.

Es stellt sich jedoch die Frage, ob diese Dominanz ausschließlich auf der überlegenen Leistung von LoRA beruht oder ob andere Faktoren eine Rolle spielen. Eine Hypothese ist, dass LoRA als eine der ersten weit verbreiteten PEFT-Techniken einen Selbstverstärkungseffekt erlebt hat. Dies bedeutet, dass seine frühe Verfügbarkeit, die Fülle an Tutorials und Beispielen sowie die breite Unterstützung in nachgelagerten Paketen zu seiner anhaltenden Popularität beigetragen haben könnten, unabhängig davon, ob es in jedem Fall die optimale Lösung darstellt.

Die Herausforderung der Technikbewertung

Die KI-Forschung ist reich an Publikationen, die neue PEFT-Techniken vorstellen und behaupten, LoRA in bestimmten Benchmarks zu übertreffen. Die `PEFT`-Bibliothek allein listet über 40 verschiedene Techniken und deren Varianten auf. Die Bewertung dieser Behauptungen ist jedoch komplex:

• Forschungsvoreingenommenheit: Forscher stehen unter Druck, Ergebnisse zu liefern, die bestehende Benchmarks übertreffen. Dies kann unbewusst dazu führen, dass die eigene Technik optimaler abgestimmt wird als Vergleichsmethoden. Eine Studie deutet beispielsweise darauf hin, dass LoRA durch eine gezielte Anpassung der Lernrate mit angeblich besseren PEFT-Techniken mithalten kann.
• Heterogene Benchmarks: Jede Publikation wählt oft unterschiedliche Vergleichstechniken und Benchmarks, was eine direkte Vergleichbarkeit erschwert.
• Reproduzierbarkeit: Oft ist der Code nicht verfügbar oder schwer zu reproduzieren, was eine unabhängige Überprüfung der Ergebnisse behindert.

Diese Faktoren machen es schwierig, allein auf Basis von Forschungsarbeiten die beste PEFT-Technik für einen spezifischen Anwendungsfall zu identifizieren. Viele Anwender tendieren daher dazu, aus Bequemlichkeit bei LoRA zu bleiben.

Ein objektiver Ansatz: Benchmarking in der `PEFT`-Bibliothek

Um Anwendern eine informierte Entscheidung zu ermöglichen, hat Hugging Face die `PEFT`-Bibliothek um umfassende Benchmarks erweitert. Diese Benchmarks verfolgen das Ziel, die verschiedenen PEFT-Techniken unter gleichen Bedingungen zu vergleichen. Aktuell umfassen sie:

• Einen Benchmark für das Fine-Tuning von LLMs auf mathematischen Datensätzen (MetaMathQA), der die Fähigkeit des Modells zur mathematischen Argumentation und zur Anpassung des Ausgabeformats prüft.
• Einen Benchmark für die Bildgenerierung, der bewertet, wie gut ein Modell ein neues Konzept erlernen und in verschiedenen Kontexten generieren kann, ohne bestehende Konzepte zu "vergessen".

Alle Techniken werden unter identischen Bedingungen evaluiert: gleiches Basismodell, gleicher Datensatz, gleicher Trainings- und Evaluierungscode sowie gleiche Hardware. Es werden nicht nur die Testleistung, sondern auch Metriken wie VRAM-Nutzung, Forgetting/Drift, Laufzeit und Checkpoint-Größe erfasst. Die Benchmarks sind so konzipiert, dass sie auf Consumer-Hardware ausgeführt werden können, und neue Experimente können durch einfache Konfigurationsanpassungen hinzugefügt werden.

Dieser Ansatz ermöglicht eine objektive Bewertung der verschiedenen PEFT-Techniken und bietet eine verlässliche Grundlage für Entscheidungen.

Erkenntnisse: LoRA ist gut, aber nicht immer die beste Wahl

Die Ergebnisse der Benchmarks zeigen, dass LoRA zwar eine effektive Methode ist, aber andere PEFT-Techniken in bestimmten Dimensionen übertreffen können und daher in Betracht gezogen werden sollten.

LLM-Mathematik-Benchmark

Im LLM-Mathematik-Benchmark (MetaMathQA) befindet sich LoRA auf der sogenannten Pareto-Frontier in Bezug auf Testgenauigkeit und Speicherverbrauch. Das bedeutet, es bietet einen guten Kompromiss: Für eine Testgenauigkeit von 53,2% benötigt es 22,6 GB VRAM. Es gibt jedoch andere Techniken auf dieser Pareto-Frontier:

• BEFT (Bias-Efficient Fine-Tuning): Erreicht 32,9% Testgenauigkeit bei nur 20,2 GB VRAM. Dies ist eine Option für Anwendungsfälle, bei denen Speichereffizienz an erster Stelle steht.
• Lily: Erreicht 54,9% Testgenauigkeit, benötigt aber 25,6 GB VRAM. Dies ist eine Option, wenn maximale Genauigkeit angestrebt wird und der höhere Speicherverbrauch akzeptabel ist.

Diese Ergebnisse deuten darauf hin, dass die Wahl der PEFT-Technik von den spezifischen Prioritäten (Genauigkeit vs. Speicherverbrauch) abhängt. Es ist wichtig zu beachten, dass es sich hier nicht um das "vanilla" LoRA handelt, sondern um Varianten wie LoRA mit rangstabilisierter Initialisierung (rs-LoRA) oder LoRA-FA, die optimierte Ansätze verfolgen. Das Standard-LoRA erreicht hier nur 48,1% Genauigkeit bei 22,5 GB Speicher und ist somit den optimierten Varianten unterlegen.

Bildgenerierungs-Benchmark

Im Bildgenerierungs-Benchmark, dessen Ziel es ist, ein neues Konzept (z.B. ein Katzenplüschtier) zu erlernen und in neuen Prompt-Kontexten zu generalisieren, zeigt sich, dass LoRA nicht auf der Pareto-Frontier liegt. Die Hauptmetrik hier ist die "Dino-Ähnlichkeit", die misst, wie ähnlich ein generiertes Bild einem Referenzbild ist.

• LoRA erreicht einen Ähnlichkeitswert von 0,697 und benötigt 9,97 GB VRAM.
• OFT (Orthogonal Fine-Tuning): Erreicht einen Wert von 0,708 bei nur 9,01 GB VRAM. OFT dominiert LoRA in diesem Szenario, da es eine höhere Genauigkeit bei geringerem Speicherverbrauch bietet.

Dies ist ein klares Beispiel dafür, dass in bestimmten Anwendungsfällen andere PEFT-Techniken LoRA überlegen sein können.

Einschränkungen und Handlungsempfehlungen

Trotz der umfassenden Benchmarks gibt es Einschränkungen, die bei der Entscheidungsfindung berücksichtigt werden sollten:

• Hyperparameter-Optimierung: Die Wahl der Hyperparameter kann die Leistung einer Technik stark beeinflussen. Die Benchmarks versuchen, fair zu sein, aber eine vollständige, erschöpfende Optimierung für alle Techniken ist schwierig. Die `PEFT`-Bibliothek lädt die Community jedoch ein, eigene Experimente mit optimierten Hyperparametern beizusteuern.
• Spezifische Fähigkeiten: Die Benchmarks können nicht alle spezifischen Fähigkeiten einer PEFT-Technik abbilden. Zum Beispiel ist "Cartridges" darauf ausgelegt, lange Prompts zu komprimieren, was in den aktuellen Benchmarks nicht gemessen wird.
• Kompatibilität: Nicht alle PEFT-Techniken unterstützen quantisierte Basismodelle oder ermöglichen das Mergen von Adaptern, um den Laufzeit-Overhead zu reduzieren. LoRA genießt hier oft eine breitere Unterstützung in nachgelagerten Paketen wie vLLM.

Die `PEFT`-Bibliothek bietet jedoch Lösungen für einige dieser Einschränkungen. Beispielsweise wird an der Erweiterung der Unterstützung für quantisierte Modelle gearbeitet. Zudem ermöglicht `PEFT` nun die Konvertierung von Adaptern anderer Techniken in LoRA-Checkpoints, um die Kompatibilität mit downstream-Systemen zu gewährleisten. Tests haben gezeigt, dass die Konvertierung beispielsweise eines GraLoRA-Adapters in LoRA die Bildqualität kaum beeinträchtigt.

Zusammenfassend lässt sich festhalten, dass LoRA eine solide Wahl ist, aber nicht als automatische Standardoption betrachtet werden sollte. Die `PEFT`-Bibliothek bietet eine einheitliche API, die den Wechsel zwischen verschiedenen PEFT-Techniken so einfach wie das Ändern einer Konfigurationszeile macht. Unternehmen sind gut beraten, die Benchmarks zu konsultieren und gegebenenfalls verschiedene Techniken für ihre spezifischen Anwendungsfälle zu testen, um die optimale Lösung zu finden. Selbst innerhalb des LoRA-Ökosystems lohnt es sich, Varianten wie DoRA, rs-LoRA oder LoRA-FA zu evaluieren, die je nach Kontext signifikante Vorteile bieten können.

Bibliographie

• Chen, M.-H. (2024, June 28). _Introducing DoRA, a High-Performing Alternative to LoRA for Fine-Tuning_. NVIDIA Technical Blog.
• Dickson, B. (2024, May 28). _Microsoft, Beihang release MoRA, an efficient LLM fine-tuning technique_. VentureBeat.
• Görner, M. (2025, March 13). _Are You Still Using LoRA to Fine-Tune Your LLM?_. Towards Data Science.
• Gu, N., Zhang, Z., Liu, X., Fu, P., Lin, Z., Wang, S., Sun, Y., Wu, H., & Wang, H. (2025). _BeamLoRA: Beam-Constraint Low-Rank Adaptation_. arXiv.
• Gupta, D., Bhatti, A., & Parmar, S. (2024, September 17). _Beyond LoRA: Exploring Efficient Fine-Tuning Techniques for Time Series Foundational Models_. arXiv.gg.
• Huang, B., Balashankar, A., & Aminifar, A. (2025). _BEFT: Bias-Efficient Fine-Tuning of Language Models in Low-Data Regimes_. arXiv.
• Rajabzadeh, H. et al. (2025, July 1). _Beyond Static Ranks: The Power of Dynamic Quantization in LLM Fine-Tuning_. Hackernoon.
• Shuttleworth, R., Andreas, J., Torralba, A., & Sharma, P. (2024). _LoRA vs Full Fine-tuning: An Illusion of Equivalence_. arXiv.
• EliCaden. (2026, February 20). _EliCaden/Beyond_LoRA_. GitHub.
• Brenndoerfer, M. (2025, September 13). _PEFT Beyond LoRA: Advanced Parameter-Efficient Fine-Tuning Techniques_. Michael Brenndoerfer.