Preskočiť na hlavný obsah
Beancount.io Logo

#financial-literacy

Financial Literacy

Research on financial knowledge representation and LLM competency

2 príspevkovZobraziť všetky štítky
LLM dosahujú 2,3 % v generovaní Beancount DSL: Benchmark LLMFinLiteracy
·mike

LLM dosahujú 2,3 % v generovaní Beancount DSL: Benchmark LLMFinLiteracy

Benchmark LLMFinLiteracy zisťuje, že päť modelov s otvorenými váhami o veľkosti približne 7B generuje plne správne transakcie Beancount len v 2,3 % prípadov, pričom zlyhania sa sústreďujú v účtovnom uvažovaní — nie v syntaxi — čo poukazuje na spätnú väzbu kompilátora v slučke ako na kritický chýbajúci prvok pre spoľahlivých agentov na zápis.

llm
beancount
plain-text-accounting
Benchmark FinMaster: Prečo LLM dosahujú 96 % vo finančnej gramotnosti, ale iba 3 % pri generovaní výkazov
·mike

Benchmark FinMaster: Prečo LLM dosahujú 96 % vo finančnej gramotnosti, ale iba 3 % pri generovaní výkazov

FinMaster (arXiv:2505.13533) porovnáva modely o3-mini, Claude 3.7 Sonnet a DeepSeek-V3 v 183 finančných úlohách – odhaľuje, že modely dosahujú 96 % vo finančnej gramotnosti, ale klesajú na 3 % pri generovaní výkazov, pričom viacstupňové konzultačné úlohy strácajú 21 bodov presnosti v dôsledku šírenia chýb.

llm
accounting
ai