Innovativer Ansatz zur Verbesserung des Langkontext-Verständnisses in großen Sprachmodellen

Revolutionierung des Langkontext-Verständnisses in LLMs: Eine Analyse von MiA-Signature

Die Fähigkeit von großen Sprachmodellen (LLMs), lange Kontexte zu verstehen und zu verarbeiten, ist entscheidend für ihre Leistungsfähigkeit in komplexen Anwendungen. Aktuelle Retrieval-Augmented Generation (RAG)-Systeme und agentische LLMs stützen sich häufig auf den Abruf lokaler Evidenz, was bei sehr langen oder semantisch verteilten Kontexten an seine Grenzen stößt. Eine neue Forschungsarbeit mit dem Titel "MiA-Signature: Approximating Global Activation for Long-Context Understanding" (Li et al., 2026) stellt einen innovativen Ansatz vor, der dieses Problem durch die Einführung einer "Mindscape Activation Signature" (MiA-Signature) adressiert. Diese Signatur, inspiriert von kognitionswissenschaftlichen Erkenntnissen über globale Aktivierung in Gedächtnissystemen, zielt darauf ab, ein komprimiertes, aber umfassendes Bild des aktivierten Kontextes für nachgelagerte LLM-Prozesse bereitzustellen.

Die Herausforderung des Langkontext-Verständnisses

Moderne LLMs und RAG-Systeme haben in wissensintensiven Aufgaben erhebliche Fortschritte gemacht. Das vorherrschende Paradigma beinhaltet die Verarbeitung einer Abfrage, den Abruf relevanter Dokumente und die Durchführung von Schlussfolgerungen auf Basis dieses abgerufenen Kontextes. Dieses Modell geht jedoch implizit davon aus, dass die Schlussfolgerung auf einer relativ kleinen Menge lokal abgerufener Evidenz basieren kann. Diese Annahme steht im Widerspruch zu Erkenntnissen der Kognitionswissenschaft. Dort wird angenommen, dass bewusster Zugang zu Informationen mit einer "globalen Zündung" über verteilte Gedächtnissysteme verbunden ist. Gleichzeitig ist diese Aktivierung nur teilweise zugänglich; Menschen können nicht direkt alle aktivierten Inhalte abrufen oder aufzählen. Stattdessen scheint die Kognition auf einer kompakten internen Darstellung zu basieren, die den globalen Einfluss der Aktivierung auf nachgelagerte Prozesse annähert (Dehaene & Changeux, 2011; Tononi, 2004; Naccache, 2018).

Die Forscher argumentieren, dass der Gedächtniszugriff in LLM-Systemen effektiver als ein zweistufiger Prozess modelliert werden kann: globale Aktivierung gefolgt von Repräsentation. Anstatt Abfragen direkt auf eine kleine Menge abgerufener Dokumente abzubilden, induziert eine Abfrage zunächst ein globales Aktivierungsmuster über einen semantischen Gedächtnisraum, welches dann durch eine praktikable Repräsentation angenähert wird, um die nachgelagerte Berechnung zu steuern.

Das Konzept der MiA-Signature

Um diese Idee umzusetzen, wird der Begriff eines "Mindscape" eingeführt – ein globaler semantischer Gedächtnisraum, über den Aktivierung definiert werden kann. Aufbauend darauf wird die MiA-Signature als eine komprimierte Repräsentation des durch eine Abfrage induzierten Aktivierungsmusters vorgeschlagen. In der Praxis werden MiA-Signaturen durch eine submodulare Auswahl von hochrangigen Konzepten konstruiert, die den aktivierten Kontextraum abdecken. Diese Auswahl kann optional durch leichte iterative Aktualisierungen mittels Arbeitsgedächtnis verfeinert werden. Diese Repräsentation dient als Konditionierungssignal, das eine ganzheitliche Sicht auf die Relevanz erfasst, jenseits dessen, was allein durch lokalen Abruf verfügbar ist.

Dieser Ansatz führt zu einer Verschiebung in der Integration von Gedächtnis in Schlussfolgerungssysteme. Anstatt den Abruf als primäre Schnittstelle zum Gedächtnis zu behandeln, wird die Aktivierung als zugrunde liegender Prozess und Signaturen als dessen nutzbare Repräsentation angesehen. Dies ermöglicht es nachgelagerten Komponenten – wie Retrievern, Re-Rankern oder Reasoning-Modulen – unter einem global informierteren semantischen Kontext zu operieren, was die Kohärenz und Robustheit in Langkontext-Einstellungen verbessert.

MiA-Signature in RAG- und Agenten-Systemen

MiA-Signaturen wurden in zwei Hauptszenarien evaluiert: in statischen RAG-Pipelines und in iterativen Agenten-Systemen. In RAG-Systemen wird die Signatur einmalig konstruiert und als festes globales Konditionierungssignal verwendet. Im Agenten-Setting wird sie als sich entwickelnder globaler Zustand beibehalten und zusammen mit einem lokalen Evidenzgedächtnis bei neuen Abrufschritten aktualisiert. Dies ermöglicht es dem System, eine sich ändernde Ansicht des aktivierten Gedächtnisbereichs zu verfolgen.

Experimentelle Ergebnisse und deren Implikationen

Die Evaluation erfolgte auf vier Langkontext-Benchmarks, darunter Multiple-Choice-QA, offenes QA, Multi-Hop-QA und Behauptungsprüfung. Die Forscher verwendeten dabei eine "Series-Book"-Konstruktion, bei der Bücher derselben Reihe zu einem einzigen langen Dokument zusammengeführt wurden. Dies erhöhte die Schwierigkeit der Retrieval-Aufgaben, da semantische Interferenzen durch verwandte, aber nicht direkt relevante Inhalte zunahmen (Gupta et al., 2025; Karpinska et al., 2024; Kočiskỳ et al., 2018; Xu et al., 2025).

Die Ergebnisse zeigen konsistente Leistungssteigerungen durch die Integration von MiA-Signaturen:

• Verbesserung der statischen RAG: Die Konditionierung des Abrufs auf eine MiA-Signature verbesserte die durchschnittliche Recall@10-Rate um 10,9 % und die durchschnittliche Task-Leistung um 3,8 %. Diese Verbesserung resultierte aus der veränderten Auswahl der Evidenz vor der Generierung, nicht aus einem erweiterten Kontext für den Generator. Besonders signifikant waren die Verbesserungen bei Aufgaben wie DetectiveQA und NarrativeQA, bei denen die Antworten oft von einem weit verstreuten Bereich zusammenhängender Ereignisse, Entitäten oder Behauptungen abhängen.
• Nützlichkeit in iterativen Agenten: Die MiA-Signature erwies sich auch in iterativen Agenten-Loops als vorteilhaft. Im Vergleich zu Agenten ohne Signatur verbesserte MiA-Agent den Retrieval-Recall auf allen Benchmarks. Dies deutet darauf hin, dass iterative Signatur-Updates einen einfacheren initialen Zustand kompensieren können. Die Signatur dient als stabiler globaler Zustand, der die iterative Suche über mehrere Schritte hinweg an der durch die Abfrage induzierten aktivierten Region ausrichtet.
• Speicherzustand für den Generator: Die Analyse der Einflüsse auf die Generierung zeigte, dass die Verwendung von Gedächtnis im Retrieval- und Generierungszeitpunkt getrennt betrachtet werden sollte. Während das Retrieval durch die Signatur konsistent profitierte, war der Nutzen für die Generierung selektiver. Die Signatur hilft, wenn globale Einschränkungen zur Interpretation lokaler Evidenz erforderlich sind. Sie kann jedoch unnötig oder ablenkend sein, wenn die abgerufenen Chunks bereits einen direkten und zusammensetzbaren Evidenzpfad bieten.

Ein Fallbeispiel aus DetectiveQA illustriert die Arbeitsteilung: Lokale Chunks liefern fundierte Evidenz, ein Arbeitsgedächtnis speichert akkumulierte Fakten über Schritte hinweg, und die MiA-Signature hält einen kompakten globalen Zustand aufrecht, der Abruf und Generierung an der aktivierten Gedächtnisregion ausrichtet. Dies ermöglicht es dem System, komplexe kausale Zusammenhänge zu erkennen, die über rein lokale Evidenz hinausgehen (Li et al., 2025).

Methodische Details

Submodulare Initialisierung

Die MiA-Signature wird initial durch eine submodulare Auswahl von hochrangigen Gedächtniseinheiten konstruiert. Dabei werden Kriterien wie Abfragerelevanz, Abdeckung des aktivierten Bereichs und Diversität der ausgewählten Einheiten berücksichtigt. Dies geschieht durch eine gierige Approximation, die gewährleisten soll, dass die ausgewählten Zusammenfassungen die aktivierte Region gemeinsam gut repräsentieren und Redundanzen vermeiden (Nemhauser et al., 1978).

Mindscape-Aware Retrieval Interface

Es werden zwei Retriever mit unterschiedlichen Rollen eingesetzt: ein reiner Abfrage-Retriever für eine anfängliche breite Übersicht und ein Mindscape-Aware Retriever, dessen Abfragerepräsentation sowohl durch die Eingabeabfrage als auch durch ein globales Gedächtnissignal (die MiA-Signature) konditioniert wird. Dies ermöglicht es dem System, eine sich ändernde Ansicht des aktivierten Gedächtnisbereichs zu verfolgen, während sich die Signatur entwickelt.

Dynamische Weiterentwicklung

In agentischen Systemen wird die MiA-Signature iterativ verfeinert. Der Agent ruft Chunks basierend auf dem aktuellen Abfrage-Signatur-Paar ab und aktualisiert seinen Zustand, der eine umgeschriebene Abfrage, ein Evidenzgedächtnis und die verfeinerte Signatur umfasst. Dies erlaubt eine Navigation durch Langkontext-Gedächtnis durch die gemeinsame Entwicklung von Abfrage, lokaler Evidenz und globaler Signatur.

Einschränkungen und Ausblick

Die aktuelle Forschung konzentriert sich auf literarische und narrative Domänen. Es bleibt zu prüfen, ob die Aktivierungs-Signatur-Formulierung auf andere Bereiche wie Code-Repositories, wissenschaftliche Literatur oder multimodale Interaktionen übertragbar ist. Die Signaturkonstruktion ist derzeit trainingsfrei und basiert auf submodularer Auswahl vorab berechneter Zusammenfassungen. Eine End-to-End-Optimierung der Signatur mit Retriever, Generator oder Task-Ziel ist zukünftiger Forschungsgegenstand.

MiA-Signaturen sind als globales Struktur-Prior zu verstehen und nicht als Ersatz für lokale Evidenz. Sie sind hilfreich, wenn Antworten eine Synthese über verstreuten Kontext erfordern, können aber unnötig oder ablenkend sein, wenn die Antwort bereits lokal gut unterstützt wird. Eine adaptive Steuerung, wann die Signatur dem Generator zugänglich gemacht werden sollte, ist ebenfalls ein Ansatzpunkt für zukünftige Arbeiten.

Zusammenfassend bietet die MiA-Signature einen vielversprechenden Weg, um die Herausforderungen des Langkontext-Verständnisses in LLMs zu bewältigen. Durch die Brücke zwischen kognitiven Erkenntnissen und praktischem Systemdesign stellt sie einen Schritt dar, um verteilte Gedächtnisaktivierung mit lokalem evidenzbasiertem Schlussfolgern zu verbinden und so die Kohärenz und Robustheit von LLMs in komplexen Anwendungsszenarien zu verbessern.

Bibliographie

- Anthropic (2024). Claude code: ai-powered coding assistant. - Asai, A., Wu, Z., Wang, Y., Sil, A., & Hajishirzi, H. (2023). Self-rag: learning to retrieve, generate, and critique through self-reflection. In The Twelfth International Conference on Learning Representations. - Baars, B. J. (1988). A cognitive theory of consciousness. Cambridge University Press. - Baars, B. J. (1997). In the theater of consciousness: the workspace of the mind. Oxford University Press. - Chen, J., Xiao, S., Zhang, P., Luo, K., Lian, D., & Liu, Z. (2024). BGE m3-embedding: multi-lingual, multi-functionality, multi-granularity text embeddings through self-knowledge distillation. - Dehaene, S., & Changeux, J. (2011). Experimental and theoretical approaches to conscious processing. Neuron, 70(2), 200–227. - Dehaene, S., Cohen, L., Sigman, M., & Vinckier, F. (2005). The neural code for written words: a proposal. Trends in cognitive sciences, 9(7), 335–341. - Dehaene, S., & Naccache, L. (2001). Towards a cognitive neuroscience of consciousness: basic evidence and a workspace framework. Cognition, 79(1-2), 1–37. - Guan, X., Zeng, J., Meng, F., Xin, C., Lu, Y., Lin, H., Han, X., Sun, L., & Zhou, J. (2025). Deeprag: thinking to retrieve step by step for large language models. arXiv preprint arXiv:2502.01142. - Gupta, A., Zhu, K., Sharma, V., O’Brien, S., & Lu, M. (2025). NovelHopQA: diagnosing multi-hop reasoning failures in long narrative contexts. In Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, 26145–26162. - Gutiérrez, B. J., Shu, Y., Gu, Y., Yasunaga, M., & Su, Y. (2024). Hipporag: neurobiologically inspired long-term memory for large language models. Advances in neural information processing systems, 37, 59532–59569. - Hurst, A., Lerer, A., Goucher, A. P., Perelman, A., Ramesh, A., Clark, A., Ostrow, A., Welihinda, A., Hayes, A., Radford, A., et al. (2024). Gpt-4o system card. arXiv preprint arXiv:2410.21276. - Jeong, S., Baek, J., Cho, S., Hwang, S. J., & Park, J. C. (2024). Adaptive-rag: learning to adapt retrieval-augmented large language models through question complexity. In Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers), 7036–7050. - Jiang, Z., Xu, F. F., Gao, L., Sun, Z., Liu, Q., Dwivedi-Yu, J., Yang, Y., Callan, J., & Neubig, G. (2023). Active retrieval augmented generation. In Proceedings of the 2023 conference on empirical methods in natural language processing, 7969–7992. - Jin, B., Zeng, H., Yue, Z., Yoon, J., Arik, S., Wang, D., Zamani, H., & Han, J. (2025). Search-r1: training llms to reason and leverage search engines with reinforcement learning. arXiv preprint arXiv:2503.09516. - Karpinska, M., Thai, K., Lo, K., Goyal, T., & Iyyer, M. (2024). One thousand and one pairs: A "novel" challenge for long-context language models. In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, EMNLP 2024, Miami, FL, USA, November 12-16, 2024. - Kočiskỳ, T., Schwarz, J., Blunsom, P., Dyer, C., Hermann, K. M., Melis, G., & Grefenstette, E. (2018). The narrativeqa reading comprehension challenge. Transactions of the Association for Computational Linguistics, 6, 317–328. - Kouider, S., De Gardelle, V., Sackur, J., & Dupoux, E. (2010). How rich is consciousness? the partial awareness hypothesis. Trends in cognitive sciences, 14(7), 301–307. - Lamme, V. A. (2006). Towards a true neural stance on consciousness. Trends in cognitive sciences, 10(11), 494–501. - Lee, K., Chen, X., Furuta, H., Canny, J., & Fischer, I. (2024). A human-inspired reading agent with gist memory of very long contexts. arXiv preprint arXiv:2402.09727. - Li, X., Dong, G., Jin, J., Zhang, Y., Zhou, Y., Zhu, Y., Zhang, P., & Dou, Z. (2025). Search-o1: agentic search-enhanced large reasoning models. In Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, 5420–5438. - Li, Y., Li, J., Lin, Z., Zhou, Z., Wu, J., Wang, W., Zhou, J., & Yu, M. (2025). Mindscape-aware retrieval augmented generation for improved long context understanding. - Li, Y., Li, J., Yu, M., Ding, G., Lin, Z., Wang, W., & Zhou, J. (2026). Query-focused and memory-aware reranker for long context processing. arXiv preprint arXiv:2602.12192. - Liu, A., Mei, A., Lin, B., Xue, B., Wang, B., Xu, B., Wu, B., Zhang, B., Lin, C., Dong, C., et al. (2025). Deepseek-v3. 2: pushing the frontier of open large language models. arXiv preprint arXiv:2512.02556. - Mashour, G. A., Roelfsema, P., Changeux, J., & Dehaene, S. (2020). Conscious processing and the global neuronal workspace hypothesis. Neuron, 105(5), 776–798. - Naccache, L. (2018). Why and how access consciousness can account for phenomenal consciousness. Philosophical Transactions of the Royal Society B: Biological Sciences, 373(1755), 20170357. - Nemhauser, G. L., Wolsey, L. A., & Fisher, M. L. (1978). An analysis of approximations for maximizing submodular set functions—i. Mathematical Programming, 14, 265–294. - Sarthi, P., Abdullah, S., Tuli, A., Khanna, S., Goldie, A., & Manning, C. D. (2024). Raptor: recursive abstractive processing for tree-organized retrieval. In The Twelfth International Conference on Learning Representations. - Shi, Y., Chen, Y., Wang, S., Li, S., Cai, H., Gu, Q., Wang, X., & Zhang, A. (2025). Look back to reason forward: revisitable memory for long-context llm agents. arXiv preprint arXiv:2509.23040. - Tononi, G. (2004). An information integration theory of consciousness. BMC neuroscience, 5(1), 42. - Tononi, G. (2008). Consciousness as integrated information: a provisional manifesto. The Biological Bulletin, 215(3), 216–242. - Trivedi, H., Balasubramanian, N., Khot, T., & Sabharwal, A. (2023). Interleaving retrieval with chain-of-thought reasoning for knowledge-intensive multi-step questions. In Proceedings of the 61st annual meeting of the association for computational linguistics (volume 1: long papers), 10014–10037. - Wang, J., Zhao, R., Wei, W., Wang, Y., Yu, M., Zhou, J., Xu, J., & Xu, L. (2026). Comorag: a cognitive-inspired memory-organized rag for stateful long narrative reasoning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 40, 33557–33565. - Xu, Z., Ye, J., Liu, X., Liu, X., Sun, T., Liu, Z., Guo, Q., Li, L., Liu, Q., Huang, X., & Qiu, X. (2025). DetectiveQA: evaluating long-context reasoning on detective novels. In Workshop on Reasoning and Planning for Large Language Models. - Yu, H., Chen, T., Feng, J., Chen, J., Dai, W., Yu, Q., Zhang, Y., Ma, W., Liu, J., Wang, M., et al. (2025). Memagent: reshaping long-context llm with multi-conv rl-based memory agent. arXiv preprint arXiv:2507.02259.