Revolution im Frage-Antwort-System: Herausforderungen und Fortschritte im Open-Domain QA
Im Zeitalter der Informationstechnologie und künstlichen Intelligenz (KI) hat sich die Art und Weise, wie wir Informationen suchen und Fragen beantworten, grundlegend verändert. Open-Domain Question Answering (ODQA) ist ein Bereich des maschinellen Lernens und der KI, der sich mit dem Beantworten von Fragen aus einem breiten Wissensspektrum ohne spezielle Einschränkungen des Themenbereichs befasst. In der Forschung zu ODQA-Systemen wurden bedeutende Fortschritte erzielt, doch es gibt nach wie vor Herausforderungen bei der Bewertung der Genauigkeit und der Informationsdichte der Antworten, die solche Systeme liefern. Ein aktuelles Forschungspapier beleuchtet die Lücke in der Wissensbewertung und schlägt einen neuen Ansatz vor, um Antworten mit unterschiedlichem Detaillierungsgrad korrekt zu bewerten.
Faktische Fragen können oft auf verschiedenen Detailebenen korrekt beantwortet werden. Wird beispielsweise nach dem Geburtsdatum von Barack Obama gefragt, sind sowohl "4. August 1961" als auch einfach "1961" korrekte Antworten. Standardmäßige Bewertungsprotokolle für Frage-Antwort-Systeme berücksichtigen diesen Umstand jedoch oft nicht und vergleichen eine vorhergesagte Antwort nur mit Antworten eines einzigen Detaillierungsgrads. Um diesem Problem zu begegnen, wurde das Konzept von GRANOLA QA vorgeschlagen. Es handelt sich dabei um eine neuartige Evaluierungsmethode, bei der eine vorhergesagte Antwort sowohl hinsichtlich ihrer Genauigkeit als auch ihrer Informativität gegenüber einem Set von Antworten mit unterschiedlichen Detaillierungsgraden bewertet wird.
Die Forschenden entwickelten eine einfache Methodik, um bestehende Datensätze mit Antworten unterschiedlicher Granularität anzureichern. Daraus entstand GRANOLA-EQ, eine Version des EntityQuestions-Datensatzes mit mehreren Granularitätsebenen. Es wurden verschiedene Dekodierungsmethoden auf GRANOLA-EQ angewendet, einschließlich eines neuen Algorithmus namens Decoding with Response Aggregation (DRAG), der darauf abzielt, die Granularität der Antwort an die Unsicherheit des Modells anzupassen. Die Experimente zeigten, dass große Sprachmodelle mit Standarddekodierung dazu neigen, spezifische Antworten zu generieren, die oft inkorrekt sind. Im Gegensatz dazu erzielt DRAG bei der Bewertung auf Grundlage mehrerer Granularitätsebenen im Durchschnitt eine Genauigkeitssteigerung von fast 20 Prozentpunkten, die sich bei seltenen Entitäten noch erhöht. Dies offenbart, dass Standardbewertungs- und Dekodierungsschemata das Wissen, das in Sprachmodellen steckt, möglicherweise erheblich unterschätzen.
Darüber hinaus wird in einem anderen Forschungsbeitrag, QAMPARI, ein Benchmark für ODQA vorgestellt, bei dem die Antworten auf Fragen Listen von Entitäten sind, die sich über viele Absätze erstrecken. Dieses Benchmark wurde erstellt, indem Fragen mit mehreren Antworten aus Wikipedias Wissensgrafiken und Tabellen generiert wurden, Antworten mit unterstützenden Belegen in Wikipedia-Absätzen automatisch kombiniert und Fragen manuell umformuliert und jede Antwort validiert wurden. Die Ausbildung von ODQA-Modellen aus der Retrieve-and-Read-Familie ergab, dass QAMPARI sowohl in Bezug auf die Passage-Retrieval als auch die Antwortgenerierung herausfordernd ist und bestenfalls eine F1-Bewertung von 32,8 erreicht. Diese Ergebnisse unterstreichen die Notwendigkeit, ODQA-Modelle zu entwickeln, die eine breite Palette von Fragetypen, einschließlich Fragen mit einzelnen und mehreren Antworten, bewältigen können.
Ein weiteres Papier, MoQA, präsentiert ein Benchmark für ODQA, das den Bau eines Systems erfordert, das kurze, mittlere, lange und Ja/Nein-Antworten auf unterschiedliche Fragen entsprechend liefern kann. MoQA baut auf den Natural Questions auf, mit mehreren Fragetypen und zusätzlichen Crowdsourcing-Bemühungen, um eine hohe Anfragequalität zu gewährleisten. Es wurden Anpassungen an state-of-the-art Modellen vorgenommen und einzigartige Erkenntnisse im Bereich des multi-typen ODQA gewonnen: Für Retriever-Reader-Modelle erreicht das Training eines Retrievers auf allen Typen insgesamt die beste Leistung, aber es ist herausfordernd, ein einziges Reader-Modell zu trainieren, das Antworten verschiedener Formate ausgibt, oder einen Frageklassifikator zu trainieren, der zwischen den Typen unterscheidet; ein End-to-End Closed-Book-QA-Modell, das auf mehreren Typen trainiert wird, kämpft durchweg mit der Aufgabe; und selbst state-of-the-art große Sprachmodelle wie die größten GPT-3-Modelle hinken hinter den Open-Book-QA-Modellen hinterher.
Die Forschung in den Bereichen ODQA und KI schreitet stetig voran und zielt darauf ab, die Fähigkeit von Systemen zur Beantwortung von Fragen und zur Bereitstellung von Informationen zu verbessern. Die aktuellen Studien zeigen, dass es noch viel Raum für Verbesserungen gibt, insbesondere wenn es darum geht, Antworten zu bewerten, die auf unterschiedlichen Ebenen der Genauigkeit und des Informationsgehalts liegen. Die vorgeschlagenen Benchmarks und Methoden sind ein Schritt in die richtige Richtung, um zukünftige ODQA-Modelle zu entwickeln, die vielseitiger und genauer in ihren Antworten sind.
