Cómo medimos

Corpus 100 % ficticio

Actas, facturas, correos y propuestas inventados para el laboratorio, con trampas puestas a propósito: un desacuerdo, una excepción, facturas que no cuadran, un distractor, una orden escondida. Ningún dato es real, y si el sistema falla sabemos dónde.

Repeticiones

Cada caso se repite 3 veces por modelo para ver la variación, salvo donde la página del experimento indica otra cosa. Las pruebas de citas, OCR, RAG, skills y OpenCode con modelo local son de 1 ejecución por combinación, y así figura en cada una.

Corrección por código

Cada ejecución se corrige con reglas objetivas escritas en un script, no con una impresión. Lo que el script marca como fallo se lee a mano antes de culpar al modelo.

El corrector también es software

La primera versión daba por fallidas respuestas correctas, y pasó por cuatro versiones. Tres casos reales:

• Una regla buscaba «cuadr» en la respuesta, y Claude Sonnet escribió «el cuadre es correcto».
• «No consta…; queda pendiente» se cortaba en el punto y coma y contaba como fallo.
• La versión 2 de una propuesta añadía de verdad una frase que la rúbrica no contemplaba.

Cada cambio del corrector se volvió a ejecutar sobre las mismas respuestas guardadas, sin pedir nada nuevo a los modelos. Por eso guardamos siempre las respuestas en bruto.

Datos abiertos

Cada experimento publica sus datos en CSV o JSON, saneados (sin cuentas, rutas locales ni prompts completos), con un LEEME y un script para rehacer la tabla.