E-06 · 14 documentos, gemma4:12b, qwen3.5:9b y GPT-6 luna · 04/11/2026
¿Hacen falta embeddings para un RAG con pocos documentos?
Respuesta corta
En este caso, no. Con 14 documentos ficticios y 18 preguntas, buscar por palabras clave recuperó el documento correcto igual que los embeddings (15 de 15) y fue más rápido. Meterlo todo en el prompt también funcionó, pero solo tras subir el contexto: los 14 documentos ocupan ~4.200–4.350 tokens, más que los 4.096 por defecto de Ollama.
15/15
recuperación con palabras clave, igual que con embeddings
- Fecha
- 04/11/2026
- Corpus
- 14 documentos ficticios en 43 trozos; 18 preguntas: 13 directas, 2 de versión vigente frente a sustituida y 3 sin respuesta en el corpus
- Modos
- Todo en el prompt (num_ctx 16.384); palabras clave (BM25 simple, sin modelos, 3 mejores trozos); embeddings con embeddinggemma:300m (3 mejores trozos)
- Modelos
- gemma4:12b y qwen3.5:9b (Ollama 0.40.14); GPT-6 luna (nube)
- Repeticiones
- 1 por pregunta, modo y modelo: 162 respuestas
- Corrección
- Automática y después leída a mano (ver limitaciones)
Resultados
Lo que salió
| Modelo | Todo en el prompt | Palabras clave | Embeddings |
|---|---|---|---|
| gemma4:12b (local) | 18/18 | 18/18 | 18/18 |
| qwen3.5:9b (local) | 17/18 | 18/18 | 18/18 |
| GPT-6 luna (nube) | 18/18 | 18/18 | 18/18 |
| Modo | Tiempo |
|---|---|
| Palabras clave | 0,6–0,7 s |
| Todo en el prompt | 1,1–1,3 s |
| Embeddings | 4,8–6,4 s |
Qué falló · limitaciones
Lo que no funcionó, y lo que esta prueba no dice
- qwen3.5:9b, con todo en el prompt, respondió «200 euros» en lugar de «superior a 150 euros», sin referencia (pregunta P-11).
- El corrector automático dio por mal «Dos semanas» (exigía «consecutivas») y la respuesta de GPT-6 luna a P-16 («ninguna aplicación externa está aprobada», que se sostiene con DOC-RAG-05 §2). Leídas a mano, son correctas. El CSV trae las dos notas.
- Las 2 preguntas de versión: todos usaron la política vigente (28 €/día de comida, 105 €/noche) y no la sustituida (24 € / 90 €). Las 3 sin respuesta: todos respondieron «PENDIENTE», salvo el caso de GPT-6 luna ya comentado.
- Los embeddings fueron lentos porque, con un solo modelo cargado a la vez, Ollama alternaba en memoria el de embeddings y el de chat.
- El script imprimió «15/18» en recuperación porque contaba también las 3 preguntas sin documento: es 15 de 15.
- Corpus pequeño: los embeddings deberían ganar con muchos documentos o con preguntas formuladas con palabras distintas a las del texto. Eso no se midió.
Datos abiertos
Descarga los datos
Saneados: sin cuentas, rutas ni prompts completos. Lo justo para rehacer la tabla. Licencia CC BY 4.0: úsalos citando «Laboratorio BeautyThings».
rag-embeddings-vs-palabras-clave.csvCSV162 respuestas: modo, pregunta, tipo, nota automática, nota revisada, referencia y tiempo.
rag-embeddings-vs-palabras-clave-LEEME.txtTXTFecha, versiones, método y cómo comprobar la tabla.
resumen.pyPythonAgrupa cualquier CSV y suma los criterios: python resumen.py <archivo.csv> <columna>
Repetiremos esta prueba
Con la próxima versión de los modelos y de las herramientas, con el mismo corpus y el mismo corrector, y publicaremos los dos resultados juntos. Si quieres que midamos otra variante, escríbenos.