Salta al contingut
Lyncat Tria
Pàgines de la documentació

tria eval

tria eval et diu quant encertaria Tria amb les teves regles. Agafa una mostra d'un arxiu que ja tens ordenat, demana a Tria que la torni a ordenar i compara el que proposa amb on és de debò cada document.

Avaluar envia els documents de la mostra al teu proveïdor i gasta de la teva clau. Abans de començar, Tria et diu quants documents avaluarà, amb quin model i quant costarà, i espera el teu sí.

Com funciona

  1. Escull a l'atzar una mostra dels documents que ja són dins d'alguna carpeta de l'arxiu, sense comptar els de les carpetes que Tria no toca. Per defecte, 200.
  2. Copia cadascun a una carpeta temporal amb un nom a l'atzar, perquè el nom no doni pistes.
  3. Els llegeix amb el TRIA.md i el PERFIL.md de l'arxiu i amb la llista de carpetes, en què no surten els documents de la mostra.
  4. Compara la carpeta i el nom que proposa amb els reals.
  5. Esborra les còpies en acabar.

No toca mai els originals. No fa servir la memòria cau: cada avaluació torna a llegir la mostra.

bash
tria eval ~/Documents/Empresa --sample 50tria eval --synthetic# amb documents inventats

La carpeta ha de tenir el seu TRIA.md, o n'hi pots donar un altre amb --rules. Amb --synthetic no necessites documents propis: fa servir un arxiu d'una societat fictícia que ve amb el CLI.

El resultat

  • Encert de carpeta: en quants documents proposa la carpeta correcta.
  • Nom exacte i semblant: quants noms coincideixen del tot i quants s'hi assemblen.
  • Pendents i il·legibles: el que Tria deixaria a la safata i el que no pot llegir.
  • Per confiança: quants documents surten amb confiança alta, mitjana i baixa, i quant encerta cadascuna.

Acaba amb els tokens i el cost. La línia de la confiança alta és la que et diu si et convé el mode automàtic, que només arxiva el que té confiança alta.

Opcions

OpcióQuè fa
--syntheticFa servir l'arxiu inventat que ve amb el CLI.
--rulesUn fitxer de regles en lloc del TRIA.md de la carpeta.
--sampleMida de la mostra. Per defecte, 200.
--seedLa llavor de la mostra: amb la mateixa llavor, la mateixa mostra. Per defecte, 42.
--outDesa l'informe en JSON en un fitxer.
--baselineCompara amb un informe desat i surt amb 1 si l'encert baixa.
--jsonEscriu l'informe en JSON.
-yNo pregunta abans de gastar.

Per no anar a pitjor

Desa un informe de referència i compara-hi cada cop que canviïs les regles o el model:

bash
tria eval ~/Documents/Empresa --sample 50 --out referencia.jsontria eval ~/Documents/Empresa --sample 50 --baseline referencia.json# surt amb 1 si baixa

Amb la mateixa llavor, la mateixa mida i el mateix arxiu, la mostra és la mateixa, així que la comparació és justa. Si l'avaluació es talla a mitges, per exemple perquè el teu compte es queda sense saldo, l'informe només compta el que s'ha acabat i no es compara amb la referència.