Fortschritte im Zero-Shot Dense Retrieval durch Relevanz-Feedback

Zero-Shot Dense Retrieval: Relevanz-Feedback für effizientere Suchsysteme

Die Entwicklung effektiver dichter Retrieval-Systeme gestaltet sich schwierig, wenn keine Relevanzbewertungen vorhanden sind. Herkömmliche Ansätze versuchen, diese Hürde durch den Einsatz großer Sprachmodelle (LLMs) zu überwinden, die hypothetische Dokumente generieren, um ähnliche reale Dokumente zu finden. Diese Methode ist jedoch stark abhängig vom domänenspezifischen Wissen des LLMs, was in der Praxis oft problematisch ist. Darüber hinaus ist die Generierung hypothetischer Dokumente ineffizient, da das LLM für jede Anfrage eine große Anzahl von Tokens erzeugen muss.

Ein neuer Forschungsansatz namens "Real Document Embeddings from Relevance Feedback" (ReDE-RF) bietet eine vielversprechende Alternative. Inspiriert von Relevance-Feedback-Mechanismen, formuliert ReDE-RF die Generierung hypothetischer Dokumente als Relevanzschätzung um. Ein LLM wird verwendet, um auszuwählen, welche Dokumente für die Nearest-Neighbor-Suche verwendet werden sollen. Durch diese Umformulierung benötigt das LLM kein domänenspezifisches Wissen mehr, sondern muss lediglich die Relevanz beurteilen. Zusätzlich erfordert die Relevanzschätzung nur die Ausgabe eines einzelnen Tokens durch das LLM, was die Suchlatenz deutlich verbessert.

Funktionsweise von ReDE-RF

ReDE-RF beginnt mit einer initialen Dokumentenabfrage aus einem unüberwachten Hybridsystem, das sowohl Sparse- als auch Dense-Retrieval-Methoden kombiniert. Ein LLM bewertet die zurückgegebenen Dokumente als relevant oder nicht relevant. Basierend auf den als relevant markierten Dokumenten ruft ReDE-RF die entsprechenden Dokumenten-Embeddings – die offline vorberechnet wurden – aus dem Dense-Index ab und generiert einen aktualisierten Abfragevektor. Dieser neue Abfragevektor basiert ausschließlich auf realen Dokumenten aus dem Korpus; das LLM generiert keinen neuen Inhalt zur Verfeinerung der Abfrage.

Der Vorteil dieses Ansatzes liegt darin, dass die Abhängigkeit von der hypothetischen Dokumentengenerierung durch LLMs reduziert wird. Die Generierung solcher Dokumente ist nicht nur ineffizient, sondern erfordert auch, dass das LLM das domänenspezifische Wissen zur Anfrage bereits besitzt und die Struktur eines relevanten Dokuments replizieren kann. Die Relevanzbeurteilung hingegen ist eine deutlich einfachere Aufgabe. Durch die Verwendung realer Dokumente wird außerdem sichergestellt, dass der zur Verfeinerung der Abfrage verwendete Inhalt im Korpus verankert ist, was die Generalisierung des Verfahrens über verschiedene Domänen hinweg erleichtert.

Experimentelle Ergebnisse und Vorteile

Empirische Bewertungen von ReDE-RF in verschiedenen Retrieval-Szenarien zeigen vielversprechende Ergebnisse. Insbesondere bei Low-Resource-Aufgaben übertrifft ReDE-RF bestehende Zero-Shot-Methoden, die LLMs zur Generierung hypothetischer Dokumente verwenden, um bis zu 6%, wenn LLMs mit Top-Retrieved-Dokumenten als Kontext arbeiten, und um bis zu 14%, wenn kein Kontext bereitgestellt wird. Darüber hinaus reduziert ReDE-RF die Suchlatenz im Vergleich zur hypothetischen Dokumentengenerierung mit Kontext um das 7,5- bis 11,2-fache und ohne Kontext um das 4,4-fache.

Ein weiterer Vorteil von ReDE-RF ist die Möglichkeit der Destillation in ein kleineres, effizienteres unüberwachtes Dense-Retrieval-Modell. Dieses destillierte Modell kann die Leistung von bestehenden Modellen wie Contriever um bis zu 33% verbessern, ohne den Dokumentenindex aktualisieren oder LLMs zur Inferenzzeit verwenden zu müssen.

Relevanz für KI-gestützte Content-Tools

Die Fortschritte im Bereich Zero-Shot Dense Retrieval, wie sie durch ReDE-RF demonstriert werden, sind besonders relevant für KI-gestützte Content-Tools wie Mindverse. Durch die verbesserte Effizienz und Genauigkeit der Suche können Nutzer schneller und präziser auf relevante Informationen zugreifen. Die Reduzierung der Latenz ermöglicht eine flüssigere User-Experience, während die Fähigkeit zur Generalisierung über verschiedene Domänen hinweg die Anwendbarkeit der Technologie erweitert. Die Integration solcher fortschrittlichen Retrieval-Methoden in Content-Tools eröffnet neue Möglichkeiten für die automatisierte Content-Erstellung, -Recherche und -Analyse.

Für Unternehmen, die maßgeschneiderte KI-Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme entwickeln, bietet ReDE-RF eine Grundlage für effizientere und robustere Suchfunktionen. Die Möglichkeit, ohne große Mengen an Trainingsdaten auszukommen, reduziert den Entwicklungsaufwand und ermöglicht die schnelle Anpassung an neue Domänen und Anwendungsfälle.

Bibliography: https://arxiv.org/html/2410.21242v1 https://deeplearn.org/arxiv/541606/zero-shot-dense-retrieval-with-embeddings-from-relevance-feedback http://arxiv.org/pdf/2410.21242 https://synthical.com/article/Zero-Shot-Dense-Retrieval-with-Embeddings-from-Relevance-Feedback-af88b09c-fde0-4789-a45e-8e4e5cb1edf9? https://twitter.com/_reachsumit/status/1851123133304242346 https://github.com/RUCAIBox/DenseRetrieval https://aclanthology.org/2023.acl-long.99 https://www.researchgate.net/publication/372916021_Precise_Zero-Shot_Dense_Retrieval_without_Relevance_Labels https://boston.lti.cs.cmu.edu/luyug/HyDE/HyDE.pdf https://paperreading.club/page?id=262494