CausalTAD: Kauzálne usporiadanie stĺpcov pre detekciu anomálií v tabuľkových dátach pomocou LLM

Predchádzajúci záznam sa venoval AnoLLM, ktorý dolaďuje malý model LLM na bodovanie tabuľkových anomálií prostredníctvom negatívnej logaritmickej vierohodnosti. CausalTAD (arXiv:2602.07798) kladie zásadnú doplňujúcu otázku: záleží na poradí, v akom stĺpce do tohto LLM vkladáte? Odpoveď znie áno – a vloženie kauzálnej štruktúry do usporiadania vám prinesie konzistentné a reprodukovateľné zlepšenie.

Odborný príspevok

Wang a kol. navrhujú CausalTAD, metódu, ktorá stojí nad detektormi anomálií typu AnoLLM a robí jednu cielenú zmenu: namiesto serializácie tabuľkových riadkov v náhodnom alebo ľubovoľnom poradí stĺpcov zisťuje kauzálne závislosti medzi stĺpcami a preusporiada ich tak, aby tieto závislosti rešpektovali ešte predtým, než LLM riadok prečíta.

Príspevok má dve pohyblivé časti. Po prvé, modul usporiadania stĺpcov riadený kauzalitou. Autori adaptujú rámec na extrakciu faktorov COAT: LLM číta metadáta stĺpcov a vzorky na extrakciu sémantických faktorov na vysokej úrovni (pri transakciách kreditnou kartou môže faktor ako „Kompenzácia“ zahŕňať stĺpce sumy a obchodníka). Z týchto faktorov tri algoritmy na zisťovanie kauzality — PC, LiNGAM a FCI — každý zostaví orientovaný kauzálny graf nad faktormi. Problém preusporiadania stĺpcov sa potom stáva problémom lineárneho usporiadania (Linear Ordering Problem): nájsť permutáciu π, ktorá maximalizuje súčet váh orientovaných hrán tak, aby sa stĺpce príčiny objavili pred stĺpcami následku v serializovanom texte. Keďže lineárne programovanie (LP) má mnoho takmer optimálnych riešení, odoberajú vzorku K ≈ 10 usporiadaní v rámci 90 % optima a vypočítajú z nich priemer.

Po druhé, modul prehodnotenia váh zohľadňujúci kauzalitu. Nie všetky stĺpce sú rovnako relevantné. Stĺpec, ktorý ovplyvňuje mnoho faktorov, získa vyššiu váhu αj = |M⁻¹(cj)|, čo je počet faktorov, ku ktorým prispieva. Konečné skóre anomálie je vážený priemer negatívnych logaritmických vierohodností na stĺpec naprieč K usporiadaniami.

Kľúčové myšlienky

• Usporiadanie stĺpcov je netriviálny induktívny bias pre autoregresné modely LLM: umiestnenie stĺpca s príčinou pred stĺpec s následkom umožňuje modelu podmieniť sa správnym kontextom pri priraďovaní vierohodnosti následku.
• Zisťovanie kauzality na úrovni faktorov (namiesto úrovne surových stĺpcov) umožňuje metóde spracovávať tabuľky so zmiešanými typmi dát, kde je priame zisťovanie kauzality medzi heterogénnymi stĺpcami zašumené.
• Na 6 benchmarkových súboroch dát so zmiešanými typmi dosahuje CausalTAD s modelom SmolLM-135M priemerné AUC-ROC 0,834 oproti 0,803 pri AnoLLM — čo je absolútne zlepšenie o 3,1 bodu pri rovnakom základnom modeli.
• Konkrétne na súbore dát Fake Job Posts dosahuje CausalTAD skóre 0,873 oproti 0,800 pri AnoLLM — relatívny zisk 9,1 %, čo je dostatočne významné v reálnom systéme triáže.
• Naprieč 30 numerickými benchmarkovými súbormi dát ODDS dosahuje CausalTAD najlepšie priemerné AUC-ROC, pričom konzistentne prekonáva klasické základné metódy (Isolation Forest, ECOD, KNN) aj hlboké metódy (DeepSVDD, SLAD).
• Všetky tri algoritmy na zisťovanie kauzality porazili náhodné usporiadanie v ablačnej štúdii; LiNGAM mierne predstihol PC a FCI na zmiešaných súboroch dát.

Čo obstojí — a čo nie

Hlavné tvrdenie — že kauzálne poradie stĺpcov pomáha — je dobre podložené. Ablačná štúdia je jasná: výmena náhodného usporiadania za ktorúkoľvek z troch metód zisťovania kauzality zlepšuje výsledky na benchmarku Fake Job Posts (z 0,832 na 0,870–0,873) a prehodnotenie váh na základe počtu faktorov ďalej pomáha v každej konfigurácii. To je dôveryhodný príbeh.

Čo považujem za menej presvedčivé, je predpoklad bootstrappingu. Kauzálny graf je vytvorený pomocou LLM na extrakciu sémantických faktorov práve z tých dát, ktoré má systém analyzovať. Ak LLM nesprávne pochopí doménu — napríklad v prípade účtovného systému na mieru s neštandardnými názvami stĺpcov — extrakcia faktorov bude nesprávna a zlý kauzálny graf je pravdepodobne horší ako náhodné usporiadanie, pretože zavádza systematické skreslenie. Autori priznávajú toto riziko („spolieha sa na schopnosť LLM extrahovať faktory“), ale netestujú presnosť extrakcie faktorov nezávisle.

Existuje tiež problém s výpočtovou réžiou, ktorý je vážnejší, než naznačuje článok. Spustenie troch algoritmov na zisťovanie kauzality, riešenie LP, vzorkovanie K usporiadaní a následné spustenie inferencie na K serializovaných verziách každého testovacieho bodu znásobuje náklady na inferenciu faktorom K. Pre účtovnú knihu s miliónmi záznamov je to dôležité. Článok uvádza, že „budúca práca sa môže zamerať na zlepšenie efektívnosti“, ale neponúka žiadne konkrétne profilovanie.

Napokon, 30 numerických súborov dát ODDS je dobre preštudovaných a pravdepodobne už saturovaných pre metódy tohto typu. Významnejší signál je v 6 súboroch dát so zmiešanými typmi — ktoré sú realistické pre financie — a tamojšie zlepšenia, hoci reálne, sú v absolútnych číslach skôr mierne.

Prečo je to dôležité pre finančnú AI

Transakcie v systéme Beancount majú skutočnú kauzálnu štruktúru: suma účtovného zápisu kauzálne ovplyvňuje výber účtu, účet ovplyvňuje očakávanie protistrany a text poznámky je kauzálne závislý od všetkých troch. Náhodná serializácia stĺpcov to ignoruje, čo znamená, že model typu AnoLLM vidí „poznámka: potraviny | účet: Výdavky:Jedlo | suma: 4200 $“ rovnako ľahko ako správne usporiadanú verziu.

CausalTAD poskytuje principiálny spôsob, ako zakódovať, že „suma a účet sú na prvom mieste“, bez toho, aby to bolo natvrdo kódované ako pravidlo. Pre auditných agentov Bean Labs to naznačuje praktickú architektonickú voľbu: pred skórovaním dávky transakcií na anomálie urobte jeden prechod na zistenie kauzálneho grafu nad schémou stĺpcov účtovnej knihy a potom použite toto pevné usporiadanie pre celú následnú inferenciu. Réžia sa zaplatí raz na úrovni schémy, nie pri každej transakcii.

Príklad detekcie podvodov s kreditnými kartami v článku má v podstate rovnakú štruktúru úloh ako detekcia anomálií v účtovnej knihe: heterogénne vlastnosti, vzácne označenia a kauzálne poradie, ktoré doménoví experti poznajú intuitívne, ale ktoré by modely LLM inak ignorovali.

Čo si prečítať ďalej

• AD-LLM: Benchmarking Large Language Models for Anomaly Detection (arXiv:2412.11142, ACL Findings 2025) — systematický benchmark naprieč tromi paradigmami detekcie anomálií pomocou LLM, do ktorého CausalTAD zapadá; jeho prečítanie poskytuje celkový prehľad namiesto jediného porovnania AnoLLM vs CausalTAD.
• COAT: Boosting Large Language Model-Based In-Context Learning for Tabular Data (Liu et al., 2024) — rámec pre extrakciu faktorov, ktorý CausalTAD adaptuje; pochopenie jeho fungovania objasňuje, kde môže kvalita kauzálneho grafu zlyhať.
• Causal discovery in heterogeneous data: a survey — pre pochopenie relatívnych výhod PC vs LiNGAM vs FCI na tabuľkových dátach zmiešaného typu, keďže článok s nimi zaobchádza ako so zameniteľnými, hoci vychádzajú z rôznych predpokladov o nezávislosti.