E-05 · qwen3.5 4b y 9b, gemma4 12b y qwen3.6 35b con Ollama 0.40.14
¿Qué velocidad dan los modelos locales en una RTX 5060 Ti de 16 GB?
Respuesta corta
Con GPU, qwen3.5:4b generó 92–95 tokens por segundo, qwen3.5:9b 56–58 y gemma4:12b 111–113; solo con CPU, el 4b bajó a 11,9 y el 9b a 5,7. El tamaño no predice la velocidad: gemma4 fue el más rápido siendo el más grande de los tres. El qwen3.6:35b (22 GB) no fue utilizable en esta tarjeta.
111–113 t/s
generación de gemma4:12b con GPU
- Fecha
- 04/11/2026
- Equipo
- PC de escritorio con Windows 11 Pro, Intel Core Ultra 5 245K, 31,3 GB de RAM y NVIDIA RTX 5060 Ti de 16 GB. En reposo, el escritorio ya ocupaba ~2,9–3,0 GB de VRAM
- Programa
- Ollama 0.40.14 (zip portable)
- Prompts
- Medio: 524 tokens (el brief del acta). Largo: ≈9.400 tokens con contexto de 32.768
- Repeticiones
- Prompt medio, 3 veces por modelo; el resto de pruebas, 1
- Medidas
- Lee = tokens del prompt por segundo; genera = tokens de respuesta por segundo; VRAM = pico del equipo menos reposo
Resultados
Lo que salió
| Modelo | Carga en frío | Carga en caché | Genera | Lee (1.ª vez) | Largo 32k: lee / genera | VRAM usada |
|---|---|---|---|---|---|---|
| qwen3.5:4b | 36,8 s | 3,7–4,3 s | 92–95 t/s | 750 t/s | 4.835 / 86 t/s | 3,6–4,6 GB |
| qwen3.5:9b | 6,8 s | 4,8–5,9 s | 56–58 t/s | 1.760 t/s | 2.890 / 55 t/s | 6,4–7,5 GB |
| gemma4:12b | 23,5 s | 6,6 s | 111–113 t/s | 1.123 t/s | 1.715 / 80 t/s | 8,3–9,3 GB |
| qwen3.6:35b | — | — | no funcionó | — | — | 12,4 GB en GPU + 8,3 GB en RAM |
| Modelo | Genera | Lee |
|---|---|---|
| qwen3.5:4b | 11,9 t/s | 121 t/s |
| qwen3.5:9b | 5,7 t/s | 58 t/s |
Qué falló · limitaciones
Lo que no funcionó, y lo que esta prueba no dice
- qwen3.6:35b (22 GB) no cabe en 16 GB: Ollama lo repartió entre GPU y RAM. Respondió una vez con contexto 4.096; después, error 500 («CUDA error … ggml-cuda.cu:110»). Desactivar flash attention y forzar menos capas en GPU no lo arregló. En este equipo y con esta versión, no fue utilizable.
- El indicador /api/ps de Ollama informó 1,15–1,5 GB para gemma4:12b; el registro de carga decía 7,0 GB en GPU. No te fíes de un solo indicador: contrasta con nvidia-smi o el Administrador de tareas.
- Con 16 GB de VRAM, Ollama eligió un contexto por defecto de 4.096 tokens. Con documentos largos, el modelo no ve todo el texto si no subes num_ctx.
- Al repetir el mismo prompt, la lectura se dispara (8.000–13.000 t/s) porque Ollama reutiliza lo ya procesado. Mide la primera ejecución o cambia el texto.
- Con tres modelos cargados a la vez y un juego abierto, la VRAM llegó a 15,6 de 16 GB y gemma4:12b cayó de 111 a ~3,8 t/s.
- Un único PC de escritorio: las cifras no se trasladan a un portátil. Uno sin gráfica dedicada estará, como mucho, en el orden de las cifras «solo CPU».
Datos abiertos
Descarga los datos
Saneados: sin cuentas, rutas ni prompts completos. Lo justo para rehacer la tabla. Licencia CC BY 4.0: úsalos citando «Laboratorio BeautyThings».
velocidad-vram-modelos-locales-rtx-5060-ti.csvCSV17 pruebas: tokens, lectura y generación por segundo, carga, contexto y VRAM del equipo.
velocidad-vram-modelos-locales-rtx-5060-ti-LEEME.txtTXTFecha, versiones, método y cómo comprobar la tabla.
resumen.pyPythonAgrupa cualquier CSV y suma los criterios: python resumen.py <archivo.csv> <columna>
Repetiremos esta prueba
Con la próxima versión de los modelos y de las herramientas, con el mismo corpus y el mismo corrector, y publicaremos los dos resultados juntos. Si quieres que midamos otra variante, escríbenos.