ShieldAgent: Raonament de polítiques de seguretat verificables per a agents LLM

Després de parlar de GuardAgent la setmana passada —que tradueix les polítiques de seguretat en codi executable—, volia llegir l'article que afirma explícitament superar-lo: ShieldAgent (Chen, Kang i Li, ICML 2025, arXiv:2503.22738). La millora que GuardAgent va suposar respecte a les barreres de seguretat basades en prompts ja era significativa; calia examinar acuradament si els circuits de regles probabilístics de ShieldAgent realment tanquen l'escletxa restant, o simplement desplacen el llistó, abans de decidir com estructurar la seguretat de l'escriptura (write-back) per als agents de Beancount.

L'article

ShieldAgent es posiciona com el primer agent de barreres de seguretat dissenyat específicament per a la seguretat d'agents en lloc de la seguretat d'LLM —una distinció rellevant. Les barreres de seguretat d'LLM filtren les entrades i sortides de forma aïllada; les barreres de seguretat d'agents han de raonar sobre trajectòries d'accions multi-pas en entorns dinàmics on un sol pas d'aparença benigna pot formar part d'una seqüència perjudicial. L'argument central de l'article és que els enfocaments existents, incloent-hi GuardAgent, encara depenen massa del raonament brut de l'LLM, que és car, inconsistent i no verificable.

La principal contribució tècnica és el circuit de regles probabilístic basat en accions: els documents de polítiques s'analitzen en regles verificables, cada regla rep un pes suau (implementat com a potencials de Xarxes Lògiques de Markov) i les regles s'agrupen mitjançant agrupament espectral en circuits específics per acció. En el moment de la inferència, ShieldAgent recupera els circuits rellevants per a cada acció de l'agent, executa quatre operacions formals (Cerca, Comprovació Binària, Detecció i Verificació Formal utilitzant el verificador de models Stormpy) i calcula una etiqueta de seguretat probabilística. La decisió final utilitza una condició de seguretat relativa —la diferència entre les masses de probabilitat segures i insegures ha de superar un llindar ε—, cosa que redueix els falsos positius en comparació amb els llindars de probabilitat absoluta.

Idees clau

• Circuits de regles probabilístics sobre Xarxes Lògiques de Markov: els pesos de regles suaus gestionen les polítiques conflictives o incompletes amb elegància, cosa que els enfocaments rígids de generació de codi com GuardAgent no poden fer quan les polítiques són ambigües.
• La verificació formal com a operació de primer nivell: la verificació de models Stormpy és una de les quatre operacions de protecció (shielding), no un complement posterior. Això és el que realment significa "verificable" al títol.
• 90,4% de precisió en atacs basats en agents, 91,7% en atacs basats en l'entorn a ShieldAgent-Bench, amb una taxa de falsos positius del 4,8% —la més baixa entre totes les línies base avaluades.
• Millora mitjana del 7,4% respecte a GuardAgent en tres bancs de proves existents: ST-WebAgentBench (91,1% vs. 84,0%), VWA-Adv (94,1% vs. 89,9%), AgentHarm (86,9% vs. 78,4%).
• 64,7% menys de consultes a l'API i una inferència un 58,2% més ràpida que el millor mètode anterior, ja que els circuits de regles permeten una recuperació selectiva en lloc de passar tota la trajectòria a un LLM per a cada pas.
• Els guanys en compliment en línia (online compliance) són significatius: quan es desplega com a monitor en temps real, el compliment en l'entorn de compres (Shopping) va saltar del 46,8% al 65,3%, i a GitLab del 22,8% al 50,7%.
• ShieldAgent-Bench conté 3.110 mostres en 6 entorns web i 7 categories de risc, amb 1.080 regles de seguretat verificades —un recurs realment útil independentment del mètode.

Què se sosté — i què no

La idea central és sòlida: substituir el judici directe de l'LLM per circuits probabilístics estructurats fa que la barrera de seguretat sigui més barata, ràpida i auditable. Els guanys d'eficiència (un 64,7% menys de crides a l'API) no són només un detall positiu —importen enormement en producció, on cada invocació de la barrera afegeix latència a l'agent principal.

El disseny del banc de proves també mereix reconeixement. ShieldAgent-Bench es va construir utilitzant algoritmes d'atacs adversaris reals (AgentPoison, AdvWeb) en entorns web reals, cosa que és molt més creïble que els conjunts de dades de seguretat sintètics.

Però diversos aspectes em fan dubtar. Primer, el sistema depèn de GPT-4o per a l'extracció de polítiques, el refinament de regles i la planificació —cosa que significa que hereta els costos i la latència de GPT-4o en l'etapa de construcció de la política. Els autors assenyalen que "es recomana la revisió d'experts humans durant la construcció inicial del model de política", reconeixent implícitament que l'extracció automatitzada no és prou fiable per desplegar-se sense supervisió. Segon, l'article admet un rendiment més feble en riscos relacionats amb al·lucinacions que requereixen coneixements fàctics més enllà del document de política. Per als agents comptables, on una entrada pot semblar complir la política però ser aritmèticament errònia o fer referència a un compte inexistent, aquesta és una mancança real. Tercer, els bancs de proves són tots entorns d'agents web (compres, GitLab, Reddit). No hi ha cap avaluació en tasques financeres o comptables. És possible que les xifres impressionants no es traslladin a un domini amb requisits de correcció aritmètica més estrictes i menys tolerància als falsos negatius.

També noto que la xifra d'"una millora de l'11,3% respecte als mètodes anteriors" (citada al resum) i la xifra de "millora del 7,4%" (citada al cos del text per als bancs de proves existents) són diferents. La xifra més alta presumiblement inclou el propi ShieldAgent-Bench, on els autors controlen tant el banc de proves com el mètode —un factor de confusió comú en les avaluacions.

Per què això importa per a la IA financera

El problema de la seguretat en l'escriptura (write-back) de Beancount és estructuralment similar al que aborda ShieldAgent: un agent principal proposa mutacions al llibre major, i un guardià ha de verificar aquestes mutacions respecte a la política abans que es confirmin. La idea del circuit de regles s'adapta perfectament —les regles de política de Beancount (sense desajust entre dèbit/crèdit, el compte ha d'existir, l'import ha de ser positiu, la transacció ha de ser autoritzada per l'usuari) són exactament el tipus de restriccions estructurades i verificables que es beneficien d'una representació formal en lloc d'un raonament de text lliure d'un LLM.

Els guanys d'eficiència importen més per a la comptabilitat que per als agents web. Un agent d'escriptura al llibre major podria proposar dotzenes d'assentaments en una sola sessió; una barrera de seguretat que redueixi les crides a l'API en un 64,7% podria fer viable la verificació en temps real. L'escletxa de l'al·lucinació, però, és el principal problema pendent: ShieldAgent no pot detectar escriptures que compleixen la política però que són fàcticament errònies (imports incorrectes, comptes mal classificats). Per a Beancount, aquest mode de fallada és, probablement, el més comú i costós. Una barrera híbrida —ShieldAgent per al compliment de polítiques, un verificador aritmètic separat per a la correcció numèrica— sembla l'arquitectura adequada.

Què llegir a continuació

• AGrail: A Lifelong Agent Guardrail with Effective and Adaptive Safety Detection (Luo et al., ACL 2025, arXiv:2502.11448) — adopta un enfocament complementari: generació de controls de seguretat adaptatius que aprèn a través de les tasques en lloc d'extraure prèviament un model de política fix. Compareu-lo amb ShieldAgent per entendre el compromís entre política fixa i política adaptativa.
• Towards Verifiably Safe Tool Use for LLM Agents (arXiv:2601.08012, ICSE 2026) — utilitza l'Anàlisi de Processos Sistèmic-Teòrica (STPA) per produir garanties de seguretat formals per als agents que fan crides a eines, passant d'una verificació probabilística a una determinista quan és possible.
• ST-WebAgentBench: A Benchmark for Evaluating Safety and Trustworthiness in Web Agents (arXiv:2410.06703) — el més rigorós dels tres bancs de proves existents utilitzats per avaluar ShieldAgent; val la pena entendre el disseny de les tasques i les definicions de les mètriques abans d'adaptar-los per a l'avaluació d'agents financers.