Ollama o LM Studio para trabajar con documentos: cómo compararlos de verdad

Primero el encargo, después la herramienta

La comparación útil no empieza con «cuál es mejor», sino con una tarea concreta. Por ejemplo: responder diez preguntas sobre un corpus de prueba, citando el fragmento de origen, sin ejecutar acciones externas y conservando configuración y registros.

Mantén constantes el corpus, las preguntas, la rúbrica, el brief, el formato de salida, el modelo (o el más parecido posible en cada aplicación) y el equipo. Si una de las dos obliga a cambiar instrucciones, guarda ambas versiones y explica la diferencia. No compares la mejor demo de una con la primera ejecución de la otra.

Seis cosas que hay que comparar

Cada fila de la matriz descargable corresponde a una de estas comprobaciones. Rellénala con tus versiones: las funciones de ambas aplicaciones cambian a menudo.

• Preparación de documentos: texto extraído, orden de lectura, tablas, páginas y metadatos. Que una interfaz acepte PDF no garantiza una extracción fiel.
• Recuperación: si el fragmento esperado aparece entre los candidatos y llega al contexto final. Es un fallo distinto de una respuesta que lo interpreta mal.
• Respuestas: fidelidad, ausencias, contradicciones, cifras y español. No votes por fluidez.
• Red y datos: inferencia, embeddings, OCR, telemetría y actualizaciones. «Local» no describe todas las conexiones.
• Operación: dónde quedan modelos, conversaciones, índices y registros, y en qué dirección escucha el servicio local.
• Salida: exportar documentos, resultados y configuración, desinstalar y comprobar qué queda.

Lo que ya medimos en Ollama

En nuestro laboratorio (Windows 11 Pro, 31,3 GB de RAM, NVIDIA RTX 5060 Ti de 16 GB) probamos Ollama 0.40.14 en su versión zip portable. LM Studio no entró en esa tanda: sus cifras están por medir y no las inventamos.

Red: con la configuración por defecto, Ollama abrió una conexión HTTPS a ollama.com nada más arrancar. Con OLLAMA_NO_CLOUD=1 no hubo ninguna conexión externa, ni al arrancar ni mientras el modelo respondía. Ojo con los modelos con sufijo «:cloud» de la lista de recomendados: se ejecutan en servidores de Ollama, no en tu PC.

Velocidad: con GPU, qwen3.5:4b generó 92–95 tokens por segundo, qwen3.5:9b 56–58 y gemma4:12b 111–113; solo con CPU, el 4b bajó a 11,9. Y con 16 GB de VRAM, Ollama eligió por defecto un contexto de 4.096 tokens: con documentos largos, el modelo no ve todo el texto si no subes num_ctx. Es el tipo de detalle que decide una comparación con documentos.

Salida: desinstalar la versión portable liberó 41,9 GB y no dejó procesos, puerto ocupado ni tareas programadas; solo la carpeta .ollama del perfil de usuario.

Protocolo: uno detrás de otro, nunca a la vez

Si dejas los dos servicios abiertos a la vez «para ver cuál responde antes», compiten por la VRAM y las medidas quedan contaminadas. En nuestra prueba, con tres modelos cargados y un juego abierto, gemma4:12b cayó de 111 a unos 3,8 tokens por segundo.

• Ejecuta el primer entorno y guarda configuración, salidas y consumo.
• Ciérralo del todo y comprueba que ya no ocupa memoria ni puerto.
• Ejecuta el segundo con el mismo corpus y la misma batería.
• Compara criterio por criterio y conserva todos los fallos.
• Exporta y desinstala los dos, y apunta qué queda en el disco.

Una batería corta que separa de verdad

Ocho casos bastan para ver diferencias útiles: respuesta explícita (extracción básica), ausencia (¿completa sin fuente?), distractor (¿recupera la versión correcta?), contradicción (¿la oculta o la señala?), tabla dañada, instrucción escondida en el documento, repetición (duplicados) y sin conexión. Los resultados describen tu versión y tu equipo: no los conviertas en una clasificación universal.

Cuatro conclusiones precipitadas

Antes de decidir, desconfía de estas cuatro. Y recuerda que «ninguno cumple» también es un resultado válido: reducir el alcance, un flujo híbrido con aprobación humana o seguir con el procedimiento manual.

• «Ha respondido, luego entendió el documento»: puede acertar por contexto general y fallar el dato crítico.
• «Tiene más funciones, luego simplifica»: cada integración añade permisos, mantenimiento y fallos.
• «Funciona sin conexión, luego no hay telemetría»: la prueba solo cubre ese estado. Por defecto, Ollama sí se conectó.
• «Exporta archivos, luego la salida está resuelta»: ábrelos fuera de la aplicación y comprueba referencias e historial.