FinToolBench: Hodnotenie LLM agentov na reálnych finančných nástrojoch
FinToolBench zisťuje nesúlad zámeru nad 50 % u každého testovaného LLM, takže agresívne volanie nástrojov neznamená lepšie odpovede na finančné úlohy.
#compliance
Dodržiavanie predpisov
Regulačná zhoda, presadzovanie politík a výskum audítorskej stopy pre finančné AI systémy
Overiteľne bezpečné používanie nástrojov pre LLM agentov: STPA sa stretáva s MCP
STPA a MCP s rozšírenými schopnosťami prinášajú formálne bezpečnostné špecifikácie pre nástroje LLM; Alloy v štúdii kalendára dokazuje, že neexistujú nebezpečné toky.
FinAuditing: LLM dosahujú menej ako 14 % pri reálnych úlohách auditu SEC XBRL
FinAuditing ukazuje, že špičkové LLM dosahujú len 13,86 % pri overovaní finančnej matematiky podaní SEC XBRL, čo obmedzuje automatizáciu AI účtovných nástrojov.
AGrail: Adaptívne bezpečnostné mantinely pre LLM agentov, ktorí sa učia naprieč úlohami
Dvoj-LLM ochranný mantinel AGrail znižuje úspešnosť útokov prompt injection na 0 % a zároveň zachováva 95,6 % neškodných akcií agenta na Safe-OS.
ShieldAgent: Overiteľné zdôvodňovanie bezpečnostných pravidiel pre LLM agentov
ShieldAgent dosahuje 90,4 % presnosť pri útokoch na agentov s o 64,7 % menším počtom volaní API vďaka pravdepodobnostným pravidlovým obvodom namiesto LLM ochranných mantinelov.
AuditCopilot: LLMs na detekciu podvodov v podvojnom účtovníctve
AuditCopilot znižuje falošné pozitíva podvodov v účtovných zápisoch z 942 na 12, ale ablacia ukazuje, že LLM hlavne syntetizuje skóre Isolation Forest.
Konštitučná AI pre účtovných agentov: RLAIF, pravidlá politiky a riziká Goodhartovho zákona
Constitutional AI nahrádza ručne označené dáta o škodlivosti spätnou väzbou AI, takže účtovné agenti môžu vynucovať pravidlá ledgera bez recenzenta pre každú transakciu.