Tian Pan
Research Engineer
Toolformer: l'ús d'eines amb aprenentatge supervisat i els seus límits per a la IA financera
Una lectura detallada de Toolformer (Meta AI, NeurIPS 2023): com l'entrenament auto-supervisat filtrat per perplexitat ensenya a un model de 6,7 mil milions de paràmetres a cridar APIs externes, on supera el GPT-3 de 175 mil milions en proves d'aritmètica, i per què la seva arquitectura d'un sol pas no pot admetre les crides d'eines encadenades necessàries per a operacions de llibre major estructurat.
FinBen: Benchmarking d'LLM en 36 tasques financeres — Implicacions per a la IA comptable
FinBen avalua 15 LLM en 36 conjunts de dades financeres a NeurIPS 2024, trobant que GPT-4 arriba a un 0,63 de coincidència exacta en QA numèrica i un 0,54 en previsió de moviments de borsa — prop de l'atzar. Aquí teniu el que signifiquen aquestes xifres per a la creació d'un agent comptable fiable en un llibre major de Beancount.