E-01 · Cinco modelos de nube con la misma acta · 04/11/2026
¿Importa más el modelo o cómo le pides el trabajo?
Respuesta corta
Con la misma acta ficticia y los mismos cinco modelos, un encargo ingenuo superó 85 de 120 criterios y un brief operativo con reglas explícitas, 120 de 120. En las 15 ejecuciones del encargo ingenuo se perdieron el desacuerdo y la excepción del acta. La mejora vino del encargo, no del modelo.
85 → 120
criterios superados de 120
- Fecha
- 04/11/2026
- Modelos
- Claude Haiku 5.5 y Claude Sonnet 5.5 (vía Claude Code 2.1.317); GPT-6 luna, DeepSeek V4.1 Flash y DeepSeek V4.1 Flash 1017 (API compatible con OpenAI)
- Documento
- ACTA-SINTETICA-07: 10 turnos ficticios con una acción sin fecha, un envío sin responsable, un desacuerdo (turno 07) y una excepción (turno 09)
- Encargos
- Ingenuo: «Extrae las tareas de esta acta en JSON». Brief operativo: reglas explícitas (solo acciones con turno, PENDIENTE si falta responsable o fecha, sin asignar por proximidad, desacuerdos y excepciones aparte) + esquema
- Repeticiones
- 3 por modelo y encargo: 30 ejecuciones
- Corrección
- 8 criterios por ejecución, comprobados por código
Resultados
Lo que salió
| Modelo | Encargo ingenuo | Brief operativo | Tiempo medio (brief) |
|---|---|---|---|
| Claude Haiku 5.5 | 16/24 | 24/24 | 15,0 s |
| Claude Sonnet 5.5 | 15/24 | 24/24 | 7,0 s |
| GPT-6 luna | 18/24 | 24/24 | 7,6 s |
| DeepSeek V4.1 Flash 1017 | 18/24 | 24/24 | 16,0 s |
| DeepSeek V4.1 Flash | 18/24 | 24/24 | 43,7 s |
| Total | 85/120 | 120/120 | — |
Qué falló · limitaciones
Lo que no funcionó, y lo que esta prueba no dice
- Con el encargo ingenuo, en las 15 ejecuciones se perdieron el desacuerdo y la excepción: el formato pedido no tenía sitio para ellos. Falló el encargo, no el modelo.
- Con el encargo ingenuo, Claude Haiku (2 de 3) y Claude Sonnet (3 de 3) asignaron a Lucía «revisar el alcance» solo porque lo dice ella en el turno 10. Con el brief, ninguno.
- El corrector automático también falló: pasó por cuatro versiones porque daba por fallidas respuestas correctas. Cada cambio se volvió a ejecutar sobre las mismas respuestas guardadas.
- Es una sola acta, corta y ficticia. No medimos documentos largos ni ambiguos. Los tiempos dependen del proveedor y del momento.
Datos abiertos
Descarga los datos
Saneados: sin cuentas, rutas ni prompts completos. Lo justo para rehacer la tabla. Licencia CC BY 4.0: úsalos citando «Laboratorio BeautyThings».
encargo-pesa-mas-que-el-modelo.csvCSV30 ejecuciones con los 8 criterios, superados y segundos.
encargo-pesa-mas-que-el-modelo-LEEME.txtTXTFecha, versiones, método y cómo comprobar la tabla.
resumen.pyPythonAgrupa cualquier CSV y suma los criterios: python resumen.py <archivo.csv> <columna>
Repetiremos esta prueba
Con la próxima versión de los modelos y de las herramientas, con el mismo corpus y el mismo corrector, y publicaremos los dos resultados juntos. Si quieres que midamos otra variante, escríbenos.