CausalTAD: Ordenació Causal de Columnes per a la Detecció d'Anomalies Tabulars amb LLM

El registre anterior tractava sobre AnoLLM, que ajusta un LLM petit per puntuar anomalies tabulars mitjançant la versemblança logarítmica negativa. CausalTAD (arXiv:2602.07798) planteja una pregunta de seguiment clau: importa l'ordre en què s'introdueixen les columnes en aquest LLM? La resposta, pel que sembla, és que sí — i injectar una estructura causal en l'ordenació proporciona una millora consistent i reproduïble.

El document

Wang et al. proposen CausalTAD, un mètode que se situa per sobre dels detectors d'anomalies LLM a l'estil AnoLLM i realitza un canvi específic: en lloc de serialitzar les files tabulars en un ordre de columnes aleatori o arbitrari, descobreix les dependències causals entre les columnes i les reordena per respectar aquestes dependències abans que l'LLM llegeixi la fila.

El document té dues parts mòbils. Primer, un mòdul d'ordenació de columnes impulsat per la causalitat. Els autors adapten el marc d'extracció de factors COAT: un LLM llegeix les metadades de les columnes i les mostres per extreure factors semàntics d'alt nivell (per a transaccions de targetes de crèdit, un factor com "Compensació" podria abastar les columnes d'import i de comerciant). A partir d'aquests factors, tres algorismes de descobriment causal — PC, LiNGAM i FCI — construeixen cadascun un graf causal dirigit sobre els factors. El problema de reordenació de columnes es converteix llavors en un Problema d'Ordenació Lineal: trobar la permutació π que maximitzi la suma dels pesos de les arestes dirigides, de manera que les columnes causa apareguin abans que les columnes efecte en el text serialitzat. Com que el problema de programació lineal (LP) té moltes solucions gairebé òptimes, mostregen K ≈ 10 ordenacions dins del 90% de l'òptim i fan la mitjana entre elles.

Segon, un mòdul de reponderació conscient de la causalitat. No totes les columnes són igualment rellevants. Una columna que influeix en molts factors rep un pes més alt αj = |M⁻¹(cj)|, el recompte de factors als quals contribueix. La puntuació final d'anomalia és la mitjana ponderada de les versemblances logarítmiques negatives per columna a través de les K ordenacions.

Idees clau

• L'ordenació de les columnes és un biaix inductiu no trivial per als LLM autoregressius: col·locar una columna causa abans de la seva columna efecte permet que el model es condicioni al context correcte en assignar la probabilitat a l'efecte.
• El descobriment causal a nivell de factor (en lloc de a nivell de columna bruta) permet al mètode gestionar taules de tipus mixt on el descobriment causal directe entre columnes heterogènies genera soroll.
• En 6 conjunts de dades de referència de tipus mixt, CausalTAD amb SmolLM-135M arriba a un AUC-ROC mitjà de 0,834 enfront del 0,803 d'AnoLLM — una millora absoluta de 3,1 punts amb el mateix model de base.
• Específicament en el conjunt de dades Fake Job Posts, CausalTAD obté una puntuació de 0,873 enfront del 0,800 d'AnoLLM — un guany relatiu del 9,1%, que és prou gran com per ser rellevant en un sistema de triatge real.
• En 30 conjunts de dades de referència ODDS numèrics, CausalTAD aconsegueix el millor AUC-ROC mitjà, superant constantment les línies de base clàssiques (Isolation Forest, ECOD, KNN) i els mètodes profunds (DeepSVDD, SLAD).
• Els tres algorismes de descobriment causal superen l'ordenació aleatòria en l'ablació; LiNGAM supera lleugerament PC i FCI en els conjunts de dades mixts.

Què s'aguanta — i què no

L'afirmació central — que l'ordre causal de les columnes ajuda — està ben fonamentada. L'ablació és clara: canviar l'ordenació aleatòria per qualsevol dels tres mètodes de descobriment causal millora els resultats en el banc de proves Fake Job Posts (de 0,832 a 0,870–0,873), i la reponderació per recompte de factors ajuda encara més en cada configuració. És una història creïble.

El que trobo menys convincent és la hipòtesi d'arrencada (bootstrapping). El graf causal es construeix utilitzant un LLM per extreure factors semàntics de les mateixes dades que el sistema ha d'analitzar. Si l'LLM malinterpreta el domini — per exemple, per a un sistema comptable personalitzat amb noms de columnes no estàndard — l'extracció de factors serà errònia, i un graf causal dolent és possiblement pitjor que l'ordenació aleatòria perquè introdueix un biaix sistemàtic. Els autors reconeixen aquest risc ("depèn de la capacitat dels LLM per a l'extracció de factors") però no avaluen l'exactitud de l'extracció de factors de manera independent.

També hi ha un problema de sobrecàrrega computacional que és més greu del que suggereix el document. Executar tres algorismes de descobriment causal, resoldre un LP, mostrejar K ordenacions i després executar la inferència en K versions serialitzades de cada punt de prova multiplica el cost d'inferència per K. Per a un llibre comptable amb milions d'entrades, això importa. El document assenyala que "el treball futur es podria centrar a millorar l'eficiència" però no ofereix cap anàlisi de rendiment concret.

Finalment, els 30 conjunts de dades ODDS numèrics estan molt estudiats i podria dir-se que estan saturats per a mètodes com aquest. El senyal més significatiu es troba en els 6 conjunts de dades de tipus mixt — que són els realistes per a les finances — i les millores allà, tot i ser reals, són una mica modestes en termes absoluts.

Per què això és important per a la IA financera

Les transaccions de Beancount tenen una estructura causal genuïna: l'import de l'apunt impulsa causalment la selecció del compte, el compte impulsa l'expectativa de la contrapart, i el text de la nota es troba causalment aigües avall de tots tres. La serialització aleatòria de columnes ignora això, el que significa que un model de l'estil AnoLLM veu "memo: compres | compte: Despeses:Menjar | import: 4200 €" tan lliurement com la versió correctament ordenada.

CausalTAD ofereix una manera basada en principis per codificar que "l'import i el compte van primer" sense programar-ho rígidament com una regla. Per als agents d'auditoria de Bean Labs, això suggereix una opció arquitectònica pràctica: abans de puntuar un lot de transaccions per detectar anomalies, fer una passada per descobrir el graf causal sobre l'esquema de columnes del llibre comptable, i després utilitzar aquesta ordenació fixa per a tota la inferència posterior. La sobrecàrrega es paga un cop a nivell d'esquema, no per transacció.

L'exemple de detecció de frau amb targetes de crèdit del document té essencialment la mateixa estructura de tasca que la detecció d'anomalies en llibres comptables: característiques heterogènies, etiquetes rares i un ordre causal que els experts del domini coneixen intuïtivament però que, d'altra manera, els LLM ignorarien.

Què llegir a continuació

• AD-LLM: Benchmarking Large Language Models for Anomaly Detection (arXiv:2412.11142, ACL Findings 2025) — el banc de proves sistemàtic a través de tres paradigmes de detecció d'anomalies LLM en els quals s'enquadra CausalTAD; llegir-lo ofereix el panorama complet en lloc de la comparació única entre AnoLLM i CausalTAD.
• COAT: Boosting Large Language Model-Based In-Context Learning for Tabular Data (Liu et al., 2024) — el marc d'extracció de factors que CausalTAD adapta; entendre com funciona aclareix on pot fallar la qualitat del graf causal.
• Causal discovery in heterogeneous data: a survey — per entendre els mèrits relatius de PC vs LiNGAM vs FCI en dades tabulars de tipus mixt, ja que el document els tracta tots tres com a intercanviables però assumeixen diferents hipòtesis d'independència.