Medido
04/11/2026
Modelos de nube
5
Herramientas de agente
4
Corpus
100 % ficticio

Lo que medimos · 04/11/2026

El encargo pesó más que el modelo.

La misma acta ficticia, cinco modelos de nube, tres repeticiones cada uno. Ocho criterios por ejecución, comprobados por código. Solo cambió cómo se pidió el trabajo.

Criterios superados · 5 modelos × 3 repeticiones × 8 criterios
Encargo ingenuo: «extrae las tareas en JSON»85/120
Brief operativo: reglas explícitas y esquema120/120

Con el encargo ingenuo, en las 15 ejecuciones se perdieron el desacuerdo y la excepción del acta: el formato pedido no tenía sitio para ellos.

Ver el experimento y los datos
Criterios superados por modelo (3 repeticiones × 8 criterios)
ModeloEncargo ingenuoBrief operativo
Claude Haiku 5.516/2424/24
Claude Sonnet 5.515/2424/24
GPT-6 luna18/2424/24
DeepSeek V4.1 Flash 101718/2424/24
DeepSeek V4.1 Flash18/2424/24
Total85/120120/120

Investigación con fuentes, sin búsqueda web

Claude Sonnet y Haiku
«NO VERIFICADA»(correcto)
DeepSeek V4.1 Flash 1017
«Python 3.14.3 is the latest…»(falso)
Versión vigente
3.15.2

Sin acceso a la fuente, el buen modelo dice «no verificado»; el peligroso te da una cita plausible y falsa. Con búsqueda web, 4-5 de 5 citas estaban de verdad en la página.

Experimento E-02

OCR con una foto mala

Factura
F-2026-0187
Claude Haiku 5.5
F-2026-0167(error sin aviso)
Claude Sonnet 5.5
ILEGIBLE(avisa)

Un modelo devolvió un número plausible y equivocado sin avisar. El error peligroso es el silencioso: el total era correcto, así que solo cruzarlo con tu registro de proveedores lo habría cazado.

Experimento E-03

IA «local»

$ ollama serve

→ conexión HTTPS a ollama.com

$ $env:OLLAMA_NO_CLOUD=1

→ 0 conexiones externas

Nada más arrancar, Ollama abre una conexión a ollama.com. Con la nube desactivada, ninguna en la observación.

Experimento E-04

Permisos de un agente

0/45

ejecuciones obedecieron una orden escondida en un documento

Pero al prohibir Bash y la web a un agente, usó PowerShell para descargar páginas igualmente. Los permisos se dan por lista de permitidos.

Experimento E-09

Y cinco experimentos más: el encargo frente al modelo, velocidad y VRAM en local, RAG con 14 documentos, OpenCode con Ollama y skills en cuatro herramientas.

Ver los 9 experimentos

Catálogo · Próximamente

Tres libros y un pack

Comparar los cuatro

Método

Antes de escribir una técnica, la ejecutamos.

Cada capítulo sale de una prueba con datos conocidos. Lo que no se ha medido se escribe «por medir»; nunca se sustituye por una estimación.

Cómo trabaja el laboratorio
  1. 01

    Documentos ficticios con trampas conocidas

    Actas, facturas y correos inventados, con errores puestos a propósito: un desacuerdo, una excepción, una factura que no cuadra, una orden escondida. Si el sistema falla, sabemos dónde.

  2. 02

    Varios modelos, varias veces

    Cinco modelos de nube, modelos locales con Ollama y cuatro herramientas de agente. La batería principal se repite tres veces por modelo para ver la variación; las pruebas que se hicieron una sola vez se indican como tales.

  3. 03

    Corrección por código

    Criterios objetivos que comprueba un script, no una impresión. El corrector también es software: pasó por cuatro versiones porque daba por fallidas respuestas correctas.

  4. 04

    Lo que falló, por escrito

    La cita falsa dada como cierta, el número de factura mal leído, el modelo de 35B que no arrancó. Los fallos son la parte más útil de cada libro.

Preguntas

Lo que incluye. Y lo que no.

¿Son libros de prompts?

No. Los prompts aparecen como una pieza más, dentro de briefs, criterios de aceptación, pruebas y registros. El foco es diseñar trabajo que se pueda comprobar.

¿Las cifras son reales?

Sí. Son mediciones del laboratorio del 04/11/2026 sobre documentos ficticios, con corrección por código. Cada cifra indica modelo, versión y fecha, y no se traslada sin más a tu equipo.

¿Necesito una herramienta concreta?

No. El método y las plantillas son agnósticos. La receta incluida funciona con Ollama en local o con cualquier API compatible con OpenAI.

¿Puedo comprarlos ya?

Todavía no. Las ventas no están abiertas y los libros aún no tienen precio. Escríbenos y te avisamos cuando salgan.

Estado · Próximamente

Los libros aún no están a la venta.

Si quieres saber cuándo salen, escríbenos. Solo usaremos tu correo para avisarte.

Escríbenos y te avisamos