IA lenta o sin memoria: CUDA out of memory, VRAM llena y cuelgues
La velocidad de la IA en tu PC depende casi siempre de una cosa: que el modelo y su contexto quepan enteros en la memoria de la gráfica (VRAM). Cuando no caben, todo se hunde.
Lo más probable es que esté funcionando con el procesador en vez de con la gráfica, o que el modelo no quepa entero en la VRAM y se reparta con la RAM. En una prueba, un modelo pasó de 92–95 tokens por segundo con GPU a 11,9 solo con CPU.
Cómo se arregla
Mira ollama ps con el modelo cargado: debe poner «100% GPU».
El modelo, más el contexto, necesita más memoria de la que tienes libre. Cuenta la libre, no la instalada: Windows y los programas abiertos ya ocupan una parte.
Cómo se arregla
Cierra programas y descarga otros modelos con ollama stop <modelo>.
Usa la versión más pequeña del mismo modelo (menos parámetros) o una más cuantizada.
Baja el contexto.
Antes de comprar hardware para un modelo, comprueba que de verdad funciona en un equipo como el que vas a comprar.
Cómo saber que está arreglado
El modelo carga y ollama ps muestra dónde está cargado.
El programa ha pedido más memoria de la gráfica de la que queda libre: por el tamaño del modelo, la resolución de la imagen, el número de imágenes a la vez o la longitud del texto.
Cómo se arregla
Mira cuánta VRAM hay ocupada con nvidia-smi y cierra lo que la use.
Baja la resolución o genera una imagen cada vez en lugar de un lote.
Activa el modo de bajo consumo de memoria si el programa lo tiene, o usa una versión del modelo en media precisión o cuantizada.
Reinicia el programa: a veces la memoria no se libera hasta cerrarlo.
Cómo saber que está arreglado
La misma tarea termina sin el error y nvidia-smi muestra margen libre durante la ejecución.
El contexto también ocupa memoria de la gráfica. Si al subirlo el modelo deja de caber, se reparte con la RAM y la velocidad se hunde. En Windows, además, la gráfica puede tirar de memoria compartida del sistema, que es mucho más lenta.
Cómo se arregla
Baja el contexto hasta que ollama ps vuelva a mostrar «100% GPU».
Si necesitas mucho contexto, usa un modelo más pequeño.
En el Administrador de tareas, pestaña Rendimiento, GPU, vigila la «memoria de GPU compartida»: si sube al cargar el modelo, no cabe.
Cómo saber que está arreglado
Con el contexto que vas a usar, el modelo sigue entero en la gráfica y la velocidad no cae.
El escritorio de Windows y programas como el navegador ya ocupan memoria de la gráfica en reposo; en un equipo de pruebas eran unos 3 GB. Además, Ollama mantiene cada modelo cargado 5 minutos después de usarlo.
Cómo se arregla
Mira qué modelos siguen cargados con ollama ps y descárgalos con ollama stop <modelo>.
Cierra navegadores con muchas pestañas, juegos y lanzadores.
Cuenta con esa memoria ocupada al elegir modelo.
Cómo saber que está arreglado
nvidia-smi muestra la memoria liberada después de descargar los modelos.
Si repites exactamente el mismo prompt, el programa reutiliza lo que ya había procesado y la lectura del prompt parece instantánea. En una prueba, la lectura saltó a 8.000–13.000 tokens por segundo por ese motivo.
Cómo se arregla
Cambia el texto del prompt en cada medición.
Separa la velocidad de lectura del prompt de la velocidad de generación.
Repite la medición varias veces y quédate con la mediana.
Cómo saber que está arreglado
Con prompts distintos, las cifras se parecen entre sí.
En horas de mucha demanda el servicio va más lento, los modelos que razonan tardan más por naturaleza y las conversaciones muy largas pesan en el navegador.
Cómo se arregla
Abre una conversación nueva.
Para tareas sencillas, elige un modelo rápido en vez de uno de razonamiento.
Recarga la página o prueba la app de escritorio o del móvil.
Consulta la página de estado del servicio: si hay una incidencia, aparece ahí.
Cómo saber que está arreglado
En la conversación nueva, una pregunta corta responde en pocos segundos.