tria eval

tria eval te dice cuánto acertaría Tria con tus reglas. Toma una muestra de un archivo que ya tienes ordenado, le pide a Tria que la ordene otra vez y compara lo que propone con dónde está cada documento de verdad.

Evaluar envía los documentos de la muestra a tu proveedor y gasta de tu clave. Antes de empezar, Tria te dice cuántos documentos va a evaluar, con qué modelo y cuánto costará, y espera tu sí.

Cómo funciona

Elige al azar una muestra de los documentos que ya están dentro de alguna carpeta del archivo, sin contar los de las carpetas que Tria no toca. Por defecto, 200.
Copia cada uno a una carpeta temporal con un nombre al azar, para que el nombre no dé pistas.
Los lee con el TRIA.md y el PERFIL.md del archivo y con la lista de carpetas, en la que no salen los documentos de la muestra.
Compara la carpeta y el nombre que propone con los de verdad.
Borra las copias al acabar.

Nunca toca los originales. No usa la caché: cada evaluación vuelve a leer la muestra.

bash

tria eval ~/Documentos/Empresa --sample 50tria eval --synthetic# con documentos inventados

La carpeta tiene que tener su TRIA.md, o puedes darle otro con --rules. Con --synthetic no necesitas documentos propios: usa un archivo de una sociedad ficticia que viene con el CLI.

El resultado

Acierto de carpeta: en cuántos documentos propone la carpeta correcta.
Nombre exacto y parecido: cuántos nombres coinciden del todo y cuántos se parecen.
Pendientes e ilegibles: lo que Tria dejaría en la bandeja y lo que no puede leer.
Por confianza: cuántos documentos salen con confianza alta, media y baja, y cuánto acierta cada una.

Termina con los tokens y el coste. La línea de la confianza alta es la que te dice si te conviene el modo automático, que solo archiva lo que tiene confianza alta.

Opciones

Opción	Qué hace
`--synthetic`	Usa el archivo inventado que viene con el CLI.
`--rules`	Un fichero de reglas en lugar del `TRIA.md` de la carpeta.
`--sample`	Tamaño de la muestra. Por defecto, 200.
`--seed`	La semilla de la muestra: con la misma semilla, la misma muestra. Por defecto, 42.
`--out`	Guarda el informe en JSON en un fichero.
`--baseline`	Compara con un informe guardado y sale con 1 si el acierto baja.
`--json`	Escribe el informe en JSON.
`-y`	No pregunta antes de gastar.

Para no ir a peor

Guarda un informe de referencia y compara con él cada vez que cambies las reglas o el modelo:

bash

tria eval ~/Documentos/Empresa --sample 50 --out referencia.jsontria eval ~/Documentos/Empresa --sample 50 --baseline referencia.json# sale con 1 si baja

Con la misma semilla, el mismo tamaño y el mismo archivo, la muestra es la misma, así que la comparación es justa. Si la evaluación se corta a medias, por ejemplo porque tu cuenta se queda sin saldo, el informe solo cuenta lo terminado y no se compara con la referencia.