In der Mitte gefunden: Die Kalibrierung des positionalen Attention-Bias verbessert Long-Context RAG

Ich habe über das "Lost in the Middle"-Problem nachgedacht, seit ich das Protokoll zu den ursprünglichen Erkenntnissen von Liu et al. geschrieben habe: Übergibt man einem LLM einen langen Kontext, ignoriert es zuverlässig Beweise, die in der Mitte vergraben sind. "Found in the Middle: Calibrating Positional Attention Bias Improves Long Context Utilization" (Hsieh et al., ACL Findings 2024, arXiv:2406.16008) bietet die direkteste und praktischste Lösung, die ich bisher gesehen habe: eine trainingsfreie Kalibrierung zur Inferenzzeit, die den positionalen Bias des Modells von seinen Attention-Gewichten subtrahiert und so bis zu 15 Prozentpunkte an RAG-Genauigkeit zurückgewinnt.

Das Paper

Hsieh et al. beginnen mit einer diagnostischen Beobachtung: LLMs – selbst solche, die auf langen Kontexten trainiert wurden – weisen ein hartnäckiges U-förmiges Attention-Muster auf. Token am Anfang und am Ende der Eingabe erhalten unverhältnismäßig viel Aufmerksamkeit, unabhängig davon, ob sie relevant sind, während Token in der Mitte systematisch unterbewertet werden. Die Autoren bringen dies empirisch mit dem "Lost in the Middle"-Genauigkeitseinbruch in Verbindung, anstatt es als separates Phänomen zu behandeln.

Ihr Lösungsansatz ist vom Konzept her elegant. Sie zerlegen die Attention in zwei additive Komponenten: Relevanz (was wir wollen) und positionaler Bias (was wir nicht wollen). Um den Bias-Term zu isolieren, lassen sie ein "Dummy"-Dokument – informativ leerer Füllinhalt – an jeder Position durch denselben Kontext laufen und zeichnen die resultierende Attention-Verteilung auf. Diese Dummy-Dokument-Attention approximiert den reinen positionalen Prior. Subtrahiert man diesen von den echten Attention-Scores, bleibt ein Restwert, der die wahre Relevanz besser widerspiegelt:

Kalibrierte Attention = Attn(Dokument, k) − Attn(Dummy, k)

Die neu skalierten Scores werden dann verwendet, um abgerufene Dokumente vor dem finalen Schritt der Antwortgenerierung neu zu ordnen oder neu zu gewichten. Entscheidend ist, dass kein Training erforderlich ist. Die Kalibrierung wird zur Inferenzzeit auf die letzten 16 Decoder-Layer und alle Attention-Heads angewendet. Die Kosten belaufen sich auf O(K) zusätzliche Forward-Passes, wobei K die Anzahl der abgerufenen Dokumente ist – nicht trivial, aber vorhersehbar.

Kernideen

• Der U-förmige Attention-Bias ist der Modellarchitektur inhärent und bleibt selbst in Modellen bestehen, die explizit mit Long-Context-Zielen trainiert wurden.
• Das Durchlaufen eines Dummy-Dokuments (leer/Rauschen) durch denselben Retrieval-Kontext isoliert den positionalen Prior; das Subtrahieren entfernt den Bias ohne jegliches Finetuning.
• Recall@3 bei NaturalQuestion (K=20, das relevante Dokument in der Mitte platziert) springt mit Kalibrierung von 20,52 % auf 68,32 %; bei K=10 von 36,38 % auf 74,27 %.
• Die End-to-End-QA-Genauigkeit verbessert sich um 6–15 Prozentpunkte, wenn das relevante Dokument in der Mitte des Kontextes liegt; Verbesserungen zeigen sich in 22 von 24 Experiment-Konfigurationen.
• Die Methode übertrifft sechs Vergleichs-Baselines: Vanilla Attention, Query-Generation-Ranking, Relevance-Generation-Prompting, Attention-Sorting (Peysakhovich & Lerer 2023), Prompt-Umordnung und LongLLMLingua-rk.
• Die Methode wurde anhand von NaturalQuestion (2.655 reale Abfragen über Wikipedia) und SynthWiki (990 synthetische, von GPT-4 generierte Einträge) evaluiert.

Was Bestand hat – und was nicht

Das Kernergebnis ist beeindruckend und ich halte es für glaubwürdig. Eine Lücke beim Recall@3 von 20,52 % → 68,32 % für mittig platzierte Dokumente ist kein Wert, der bei genauerer Betrachtung einfach verpufft – er misst etwas Reales darüber, wie Attention verteilt wird. Das trainingsfreie Design ist ein echter praktischer Vorteil: Man kann dies über jede bestehende RAG-Pipeline stülpen, ohne die Modellgewichte anzupassen.

Dennoch habe ich einige Vorbehalte. Erstens setzt der "Dummy-Dokument"-Ansatz voraus, dass der positionale Bias in etwa positionell trennbar und additiv ist – eine lineare Zerlegung, die die Autoren selbst als potenziell zu vereinfachend markieren. Realer Attention-Bias könnte mit Inhalten auf nicht-lineare Weise interagieren. Zweitens werden die O(K) zusätzlichen Forward-Passes als "akzeptabel" eingestuft, aber nie hinsichtlich Latenz oder Kosten gebenchmarkt. In einem Produktionssystem mit K=20 Abrufen führt man 21 Forward-Passes statt einem pro Abfrage aus. Für einen Beancount-Agenten, der hunderte von Transaktionen sichtet, spielt dieser Multiplikator eine Rolle.

Drittens – und das ist die interessanteste Einschränkung – merken die Autoren an, dass der positionale Bias für bestimmte Aufgaben tatsächlich nützlich sein könnte. Ein Recency-Bias könnte zum Beispiel dazu führen, dass ein Modell aktuelle Hauptbucheinträge (ledger entries) korrekterweise stärker gewichtet als ältere. Den Bias wahllos zu entfernen, könnte Aufgaben schaden, bei denen die Position ein gültiges Signal ist. Dies wird zwar eingeräumt, aber nicht untersucht.

Schließlich nutzen die Experimente NaturalQuestion und einen synthetischen Datensatz. Finanzspezifische Dokumente – dichte Tabellen, mehrjährige Berichte, Hauptbucheinträge mit repetitiver Struktur – unterscheiden sich stark von Wikipedia-Passagen. Die Kalibrierung müsste erst an diesen Verteilungen validiert werden, bevor man behaupten kann, dass sie für finanzielles RAG funktioniert.

Warum das für Finanz-KI wichtig ist

Der direkte Zusammenhang ist klar: Jedes Protokoll seit DocFinQA hat das gleiche Problem umkreist. Wenn ein Beancount-Agent 20 relevante Hauptbucheinträge abruft, um eine Frage wie "gleiche den März mit dem Kontoauszug ab" zu beantworten, werden Einträge aus der Mitte des abgerufenen Fensters systematisch weniger beachtet als Einträge am Anfang und Ende des Kontextes. Das ist kein Fehler beim Abrufen (Retrieval) – es ist ein Fehler auf der Generierungsseite, den keine Verbesserung des Retrieval-Rankings beheben kann.

Die "Found in the Middle"-Kalibrierung ist eine plausible Entschärfung, die kein Neutraining des zugrunde liegenden Modells erfordert und direkt im Generierungsschritt jeder Ledger-QA-Pipeline angewendet werden könnte. Die Bedenken hinsichtlich der O(K)-Kosten sind real, aber handhabbar – ein 20-Dokumente-Retrieval-Fenster mit einem moderat dimensionierten Modell liegt immer noch im praktischen Bereich. Was ich vor einem Einsatz sehen möchte, ist eine Validierung speziell auf Beancount-strukturierten Daten: Hilft die Positionskorrektur einheitlich, oder unterdrückt sie versehentlich das Recency-Signal, das aktuelle Transaktionen vertrauenswürdiger macht als alte?

Das übergeordnete Prinzip – dass Attention-Mechanismen positionale Priors unabhängig von der Inhaltsrelevanz kodieren und dass diese Priors ohne Neutraining wegkalibriert werden können – ist es wert, beibehalten zu werden. Es öffnet die Tür zu ähnlichen Kalibrierungen für andere Bias-Arten: Token-Frequenz-Bias, Eingabelängen-Normalisierung oder Verbosity-Bias bei der Generierung.

Was man als Nächstes lesen sollte

• "Mitigate Position Bias in LLMs via Scaling a Single Hidden States Channel" (arXiv:2406.02536, ACL Findings 2025) – schlägt die Skalierung einer einzelnen Hidden-State-Dimension vor, anstatt Attention-Scores zu subtrahieren; ein direkter Vergleich zum "Found in the Middle"-Ansatz lohnt sich.
• "Large Language Models for Anomaly and Out-of-Distribution Detection: A Survey" (arXiv:2409.01980, NAACL 2025) – als Nächstes auf der Leseliste; verknüpft die AnoLLM-, CausalTAD- und AD-LLM-Threads zu einer einheitlichen Taxonomie.
• Liu et al., "Lost in the Middle: How Language Models Use Long Contexts" (arXiv:2307.03172, TACL 2023) – die ursprüngliche Diagnose, auf die "Found in the Middle" antwortet; essenzielle Hintergrundlektüre.