Fallos de la IA local en tu PC: Ollama, LM Studio y llama.cpp

Ollama no usa la GPU en Windows

Por qué pasa

Ollama no detecta la tarjeta (casi siempre por el controlador), una variable como CUDA_VISIBLE_DEVICES la oculta, el modelo tiene num_gpu a 0 o no cabe en la memoria de la gráfica (VRAM). En una prueba, el mismo modelo generó 92–95 tokens por segundo con GPU y 11,9 solo con CPU.

Cómo se arregla

1. Lanza una pregunta y mira ollama ps: «100% CPU» significa que no usa la gráfica; un reparto CPU/GPU, que no cabe entero.
2. Busca en %LOCALAPPDATA%\Ollama\server.log la línea «inference compute»: debe nombrar tu tarjeta.
3. Si no la nombra, actualiza el controlador de NVIDIA.
4. Busca variables que la oculten: Get-ChildItem Env: | Where-Object Name -match "CUDA|HIP|GGML|OLLAMA".
5. Si no cabe, cierra lo que ocupe la gráfica o usa un modelo más pequeño.
6. Cierra Ollama del todo (también el icono de la bandeja) y vuelve a abrirlo.

Guía: Ollama no usa la GPU en Windows

Ollama da «Error: 500 Internal Server Error: unable to load model»

Por qué pasa

El error 500 solo dice que el modelo no llegó a cargarse. La causa está en el registro: falta de memoria, una versión de Ollama que no reconoce el modelo, una ruta con caracteres raros o un archivo dañado.

Cómo se arregla

1. Lee el final del registro: Get-Content "$env:LOCALAPPDATA\Ollama\server.log" -Tail 80, y busca «Load failed».
2. Libera memoria: ollama ps para ver qué hay cargado y ollama stop <modelo> para descargarlo.
3. Baja el contexto: dentro de ollama run, /set parameter num_ctx 2048.
4. Actualiza Ollama: un modelo reciente puede no cargar en una versión antigua.
5. Vuelve a descargar el modelo: ollama rm <modelo> y ollama pull <modelo>.
6. Si nada funciona, usa un modelo más pequeño. Cambia una sola cosa cada vez.

Guía: Ollama error 500 «unable to load model»

Ollama tarda mucho y me devuelve una respuesta vacía

Por qué pasa

Los modelos que «piensan» antes de contestar gastan contexto en esa reflexión. Si se acaba, la respuesta visible queda en blanco. En una prueba, un modelo gastó 3.661 de 4.096 tokens razonando y devolvió el texto vacío tras un minuto.

Cómo se arregla

1. Desactiva el razonamiento en la consola: ollama run <modelo> --think=false.
2. En la API nativa, añade "think": false a la petición.
3. En la API compatible con OpenAI (/v1), añade "reasoning_effort": "none".
4. Si quieres que razone, sube el contexto para que quepa el razonamiento y la respuesta.
5. Ojo: --hidethinking solo oculta el razonamiento; el modelo sigue gastando contexto.

Guía: Ollama da respuesta vacía, desactiva think

Ollama ignora parte de mi documento o de mis instrucciones

Por qué pasa

Ollama elige el contexto por defecto según la memoria de tu gráfica: con menos de 24 GB arranca con 4.096 tokens. Lo que no cabe se recorta sin avisar en pantalla.

Cómo se arregla

1. Busca en el registro la línea «vram-based default context»: dice el contexto con el que arrancó.
2. Para el servidor, cierra Ollama del todo y arráncalo con más contexto: $env:OLLAMA_CONTEXT_LENGTH = "16384"; ollama serve.
3. Dentro de ollama run: /set parameter num_ctx 16384.
4. En la API nativa: "options": { "num_ctx": 16384 }.
5. Más contexto ocupa más memoria de la gráfica: sube poco a poco.

Guía: IA para leer PDF largos sin que se corte

Ollama dice «does not support tools»

Por qué pasa

El modelo elegido no declara que admite herramientas en su plantilla de Ollama. No tiene que ver con el contexto: subirlo no lo arregla.

Cómo se arregla

1. Mira las capacidades del modelo con ollama show <modelo>.
2. Si «tools» no aparece entre ellas, elige otro modelo que sí lo tenga.
3. Vuelve a configurar tu agente o tu programa con el modelo nuevo.

Guía: OpenCode con Ollama no funciona

LM Studio: «unable to allocate CUDA0 buffer»

Por qué pasa

No hay memoria libre en la gráfica para lo que pides: el modelo más su contexto no caben.

Cómo se arregla

1. Al cargar el modelo, baja el número de capas que se descargan en la GPU (GPU offload).
2. Baja el tamaño del contexto.
3. Cierra juegos, editores de vídeo y otros modelos cargados.
4. Si sigue sin caber, elige un modelo más pequeño o más cuantizado (comprimido a menos bits).

Libro: Qué modelo de IA cabe en tu tarjeta gráfica

llama.cpp: «exceeds the available context size»

Por qué pasa

La conversación, el documento o el razonamiento del modelo ya ocupan más que el contexto con el que arrancaste el programa.

Cómo se arregla

1. Arranca con más contexto con la opción -c (o --ctx-size), por ejemplo -c 16384.
2. Si se queda sin memoria al subirlo, prueba a guardar la caché del contexto en menos bits, si tu versión lo permite.
3. Con modelos que razonan, pon un tope al razonamiento o desactívalo en tareas sencillas.
4. En conversaciones largas, empieza una nueva con un resumen.

Libro: Qué modelo de IA cabe en tu tarjeta gráfica

Los modelos de Ollama me llenan el disco C:

Por qué pasa

Cada modelo ocupa varios gigas y Ollama los guarda en tu carpeta de usuario. Los que ya no usas siguen ahí hasta que los borras.

Cómo se arregla

1. Mira qué tienes y cuánto ocupa cada uno: ollama list.
2. Borra los que no uses: ollama rm <modelo>.
3. Para guardarlos en otro disco, define OLLAMA_MODELS con la ruta nueva (por ejemplo, D:\ollama-modelos), cierra Ollama del todo y vuelve a abrirlo.
4. Vuelve a descargar en la ruta nueva los que necesites.

El modelo local responde mucho peor que ChatGPT

Por qué pasa

Los modelos que caben en una gráfica doméstica son más pequeños y se equivocan más. En una prueba con una foto mala de una factura, un modelo local de 12B se inventó la factura entera.

Cómo se arregla

1. Úsalo para tareas pequeñas que puedas comprobar: resumir, clasificar, extraer campos.
2. Escribe un encargo con reglas explícitas y una salida para cuando no sepa («NO CONSTA»).
3. Si tu gráfica lo permite, prueba un modelo algo mayor.
4. Valida siempre el resultado; para lo crítico, usa un modelo más capaz.

Experimento: el encargo pesa más que el modelo