# Forschungstagebuch

Offene Experimente und Erkenntnisse von Bean Labs — die Finance-AI-Agent-Forschungsinitiative von Beancount.io.

[Teil von Bean Labs](https://beancount.io/de/bean-labs) [Nach Tag durchsuchen](https://beancount.io/de/bean-labs/research-logs/tags) [Alle Autoren anzeigen](https://beancount.io/de/bean-labs/research-logs/authors)

10\. September 2026 5 Minuten Lesezeit

## [Kann dein Agent diese Bücher ausgleichen?](https://beancount.io/de/bean-labs/research-logs/2026/09/10/can-your-agent-balance-these-books)

Ein Agentenlauf stimmte ein dreizeiliges Ledger auf 2958,50 USD Girokonto und 1958,50 USD Septembergewinn ab und erholte sich von einem selbst diagnostizierten Fehler.

Mike Thrift

agents llm beancount

12\. Juli 2026 5 Minuten Lesezeit

## [FinRAGBench-V: Multimodales RAG mit visuellen Zitaten im Finanzbereich](https://beancount.io/de/bean-labs/research-logs/2026/07/12/finragbench-v-multimodal-rag-visual-citation-financial-domain)

FinRAGBench-V zeigt: Top-Modelle erreichen nur 20–61 % Block-Level-Zitat-Recall auf Finanzseiten. Multimodales Retrieval schlägt Text-only um fast 50 Punkte.

Mike Thrift

ai llm machine-learning

11\. Juli 2026 6 Minuten Lesezeit

## [Können LLM-Agenten CFOs sein? EnterpriseArenas 132-monatige Simulation deckt eine große Lücke auf](https://beancount.io/de/bean-labs/research-logs/2026/07/11/can-llm-agents-be-cfos-enterprisearena-resource-allocation-benchmark)

Nur Qwen3.5-9B übersteht 80% der 132-Monats-CFO-Läufe von EnterpriseArena, während GPT-5.4 und DeepSeek-V3.1 0% erreichen. Übersprungener Ledger-Abgleich verursacht die Fehler.

Mike Thrift

ai llm automation

10\. Juli 2026 6 Minuten Lesezeit

## [WildToolBench: Warum kein LLM eine Sitzungsgenauigkeit von 15 % bei der realen Tool-Nutzung überschreitet](https://beancount.io/de/bean-labs/research-logs/2026/07/10/wildtoolbench-benchmarking-llm-tool-use-in-the-wild)

WildToolBench findet kein LLM über 15 % Sitzungsgenauigkeit bei 1.024 Echtnutzer-Aufgaben, verborgene Intention und Instruktionswechsel sind die schärfsten Fehlermodi.

Mike Thrift

ai llm automation

9\. Juli 2026 6 Minuten Lesezeit

## [LLM-Konfidenz und Kalibrierung: Ein Überblick über den tatsächlichen Stand der Forschung](https://beancount.io/de/bean-labs/research-logs/2026/07/09/confidence-estimation-calibration-llms-survey)

Verbalisierte GPT-4-Konfidenz erreicht nur \~62,7 % AUROC, kaum über Zufall. Unsicherheitsbewusste Finanzagenten brauchen bessere Kalibrierung.

Mike Thrift

llm ai machine-learning

8\. Juli 2026 6 Minuten Lesezeit

## [JSONSchemaBench: Reale Schema-Komplexität bricht Garantien für strukturierten LLM-Output](https://beancount.io/de/bean-labs/research-logs/2026/07/08/jsonschemabench-structured-outputs-language-models)

JSONSchemaBench findet, dass die Abdeckung von 86% bei einfachen Schemas auf 3% bei komplexen fällt, daher kann strukturierte LLM-Ausgabe still nicht-konformes JSON liefern.

Mike Thrift

llm ai machine-learning

7\. Juli 2026 5 Minuten Lesezeit

## [FinMCP-Bench: Benchmarking von LLM-Agenten für den realen Einsatz von Finanz-Tools unter MCP](https://beancount.io/de/bean-labs/research-logs/2026/07/07/finmcp-bench-llm-agents-financial-tool-use-model-context-protocol)

FinMCP-Bench bewertet das beste von sechs LLMs mit nur 3,08 % Exact Match bei 613 echten MCP-Finanzaufgaben, ein 20-facher Einbruch von Single-Tool zu Multi-Turn.

Mike Thrift

ai llm automation

6\. Juli 2026 5 Minuten Lesezeit

## [FinTrace: Evaluation von LLM-Tool-Aufrufen für Finanzaufgaben auf Trajektorie-Ebene](https://beancount.io/de/bean-labs/research-logs/2026/07/06/fintrace-trajectory-level-evaluation-llm-tool-calling-financial-tasks)

FinTrace zeigt: Frontier-LLMs wählen die richtigen Finanztools (F1 \~0,9), erreichen aber nur 3,23/5 bei deren Nutzung – der Schritt, der Write-Back-Agenten scheitern lässt.

Mike Thrift

llm ai finance

5\. Juli 2026 5 Minuten Lesezeit

## [FinToolBench: Bewertung von LLM-Agenten bei der realen Nutzung von Finanztools](https://beancount.io/de/bean-labs/research-logs/2026/07/05/fintoolbench-evaluating-llm-agents-real-world-financial-tool-use)

FinToolBench findet Intent-Mismatch über 50% bei jedem getesteten LLM, aggressives Tool-Calling bedeutet also nicht bessere Antworten bei Finanzaufgaben.

Mike Thrift

ai llm automation

4\. Juli 2026 5 Minuten Lesezeit

## [OmniEval: Omnidirektionaler RAG-Evaluations-Benchmark für den Finanzsektor](https://beancount.io/de/bean-labs/research-logs/2026/07/04/omnieval-omnidirectional-automatic-rag-evaluation-financial-domain)

OmniEval bewertet die besten RAG-Systeme mit 36% numerischer Genauigkeit über 5 Finanzaufgaben, daher brauchen Ledger-Agenten Validierung vor dem Buchen.

Mike Thrift

ai machine-learning llm

3\. Juli 2026 5 Minuten Lesezeit

## [LLM-Anomalieerkennung Survey (NAACL 2025): Starke Taxonomie, fehlende Abdeckung tabellarischer Daten](https://beancount.io/de/bean-labs/research-logs/2026/07/03/llm-anomaly-ood-detection-survey)

Die NAACL-2025-Taxonomie bleibt gültig, doch tabellarische Abdeckung fehlt. Finanz-KI-Teams müssen Vision-Modell-Methoden selbst anpassen.

Mike Thrift

ai llm machine-learning

2\. Juli 2026 6 Minuten Lesezeit

## [In der Mitte gefunden: Die Kalibrierung des positionalen Attention-Bias verbessert Long-Context RAG](https://beancount.io/de/bean-labs/research-logs/2026/07/02/found-in-the-middle-calibrating-positional-attention-bias)

Das Subtrahieren von Positions-Bias aus LLM-Attention-Gewichten gewinnt bis zu 15 Punkte RAG-Genauigkeit, wenn Belege mitten im Kontext liegen.

Mike Thrift

ai llm machine-learning

[Kostenlos starten→](https://beancount.io/sign-up/?next=%2Fledger%2F) [Dokumentation](https://beancount.io/de/docs)

## Where to look next

- [Sitemap](https://beancount.io/sitemap.xml) - all pages with hreflang alternates
- [LLMs index](https://beancount.io/llms.txt) - curated links for AI agents (also /llms-full.txt for full docs)
- [Documentation](https://beancount.io/docs) - every doc is also available as text/markdown via .md suffix or Accept negotiation
- [REST API reference](https://beancount.io/docs/api-reference) - interactive endpoints, schemas, authentication, and code samples
- [OpenAPI spec](https://beancount.io/openapi.json) - OpenAPI 3.1 spec for this website's public content endpoints; the product contract for ledger operations is at https://beancount.io/api-gateway/v1/openapi.json
- [GraphQL](https://beancount.io/graphql) - public, read-only content API over the blog and research logs (no credentials, no ledger data): 12 query fields over 23 types
- [MCP server](https://beancount.io/mcp) - Model Context Protocol at https://beancount.io/api-gateway/mcp
