Un sistema RAG no elimina las respuestas inventadas por el simple hecho de conectar un modelo a documentos. Solo reduce el riesgo si recupera la fuente correcta, respeta los permisos, conserva la procedencia, obliga a distinguir evidencia de generación y se evalúa de extremo a extremo. Cuando la evidencia es insuficiente, la respuesta correcta debe ser «no consta» o pedir aclaración, nunca completar el vacío con una explicación plausible.
Qué es RAG y qué problema resuelve
Retrieval-Augmented Generation combina un modelo generativo con un sistema externo de recuperación. Ante una consulta, recupera fragmentos de una base de conocimiento y los proporciona al modelo como contexto para formular la respuesta.
NIST define RAG como un sistema en el que un modelo se empareja con una base de conocimiento separada. Esto permite actualizar conocimiento sin reentrenar el modelo y atribuir respuestas a fuentes. Sin embargo, introduce una cadena de posibles fallos:
- el documento puede ser incorrecto o estar obsoleto;
- la ingestión puede perder estructura;
- la consulta puede no representar la intención;
- el recuperador puede devolver fragmentos irrelevantes;
- el reranker puede ordenar mal;
- el modelo puede ignorar, mezclar o exagerar la evidencia;
- la interfaz puede mostrar una cita que no respalda la frase.
Por eso la unidad de calidad no es el modelo: es la respuesta, sus fuentes y el proceso que las conecta.
RAG no es una base de datos de verdad automática
Un índice vectorial mide proximidad según embeddings, no verdad, vigencia ni autorización. Dos fragmentos semánticamente parecidos pueden contradecirse. Una política derogada puede aparecer antes que la vigente. Un documento comercial puede competir con una norma oficial.
La base necesita gobierno editorial:
- propietario por colección;
- fuente y URL originales;
- fecha de publicación y revisión;
- versión y estado: borrador, vigente, sustituido o archivado;
- clasificación y audiencia;
- alcance geográfico o de producto;
- fecha de caducidad o próxima revisión;
- relación con documentos que sustituye.
Los documentos sin propietario o sin estado no deben entrar en un RAG crítico.
Arquitectura de referencia
1. Fuentes autorizadas
El sistema parte de repositorios definidos: políticas, manuales, contratos, normativa, tickets o conocimiento técnico. Cada fuente tiene reglas de inclusión. No se mezcla automáticamente web abierta con documentación interna.
2. Ingestión controlada
La ingestión extrae texto, tablas, títulos y metadatos, verifica el formato y detecta duplicados. Los archivos escaneados requieren OCR y control de calidad. Debe conservarse el vínculo con la página, sección o párrafo original.
3. Segmentación
El chunking debe respetar la estructura semántica. Los fragmentos demasiado pequeños pierden condiciones y excepciones; los demasiado grandes introducen ruido. Una tabla no debería separarse de sus encabezados y notas.
4. Índice y recuperación
La búsqueda puede combinar recuperación densa y léxica. La primera capta similitud semántica; la segunda conserva términos exactos, códigos, nombres y artículos. Un reranker ordena los candidatos con más precisión.
5. Generación condicionada
El prompt obliga a responder solo con evidencia, señalar incertidumbre, citar y abstenerse cuando no existe soporte. No sustituye los controles anteriores, pero define el comportamiento esperado.
6. Validación y presentación
Antes de mostrar la respuesta, se comprueba que cada afirmación importante tenga soporte y que la cita corresponda al fragmento. La interfaz permite abrir la fuente y ver fecha, versión y contexto.
Separar recuperación y generación en la evaluación
Si se evalúa solo la respuesta final, no se sabe qué corregir. Hay que medir por capas.
Métricas de recuperación
- Recall@k: si aparece evidencia relevante entre los primeros resultados.
- Precision@k: proporción de resultados útiles.
- MRR o rango recíproco: posición del primer resultado relevante.
- nDCG: calidad del orden cuando existen grados de relevancia.
- Cobertura de autoridad: si se recupera la fuente con la prioridad adecuada.
Métricas de generación
- fidelidad: afirmaciones respaldadas por el contexto;
- corrección: la respuesta coincide con la referencia;
- completitud: cubre los elementos necesarios;
- relevancia: responde a la pregunta;
- calidad de cita: la fuente respalda exactamente la afirmación;
- abstención: rechaza correctamente cuando falta evidencia.
Métricas operativas
- latencia por componente;
- coste por respuesta válida;
- porcentaje de respuestas sin fuentes;
- consultas reformuladas;
- respuestas corregidas por personas;
- incidencias de permisos;
- documentos obsoletos recuperados.
Un promedio alto puede ocultar fallos críticos. Las consultas legales, de seguridad o económicas deben tener umbrales propios.
Construir un conjunto de evaluación
El conjunto debe representar consultas reales y mantenerse separado del ajuste cotidiano. Debe incluir:
- preguntas simples con una sola fuente;
- síntesis entre varios documentos;
- excepciones y condiciones;
- fechas, versiones y jurisdicciones;
- preguntas sin respuesta;
- términos ambiguos;
- documentos contradictorios;
- consultas con faltas o lenguaje interno;
- intentos de acceso no autorizado;
- instrucciones maliciosas dentro de documentos.
Cada caso define la respuesta esperada, la evidencia válida, la evidencia prohibida y el criterio de abstención. Las personas expertas revisan una muestra y los desacuerdos se documentan.
Cómo reducir alucinaciones en cada capa
Calidad de fuente
Hay que priorizar los originales y retirar las versiones sustituidas. Un documento obsoleto puede conservarse para histórico, pero con filtro y etiqueta. Para normativa, deben distinguirse el texto original, el consolidado y la fecha de vigencia.
Consulta
La reformulación puede ampliar sinónimos, pero debe conservar números, nombres y restricciones. Si la pregunta es ambigua, el sistema pide aclaración antes de buscar en varias interpretaciones.
Recuperación híbrida
Combinar búsqueda léxica y vectorial evita perder términos exactos. Los metadatos filtran idioma, producto, país, fecha, departamento y permisos antes de aplicar la similitud.
Reranking
Un reranker puede mejorar el orden, pero debe evaluarse con el dominio real. No debe ocultar el resultado de una fuente prioritaria solo por estilo.
Generación con evidencia
El modelo recibe instrucciones para:
- citar cada afirmación verificable;
- no usar conocimiento paramétrico cuando el caso exige fuente interna;
- separar hechos, interpretación y recomendación;
- mencionar contradicciones;
- responder «no encontrado» si la cobertura es insuficiente.
Verificación posterior
Un verificador puede detectar frases sin soporte o citas defectuosas. No garantiza la verdad, pero añade una puerta adicional. Para casos de alto impacto se requiere revisión humana.
Permisos: filtrar antes de recuperar
Un RAG puede filtrar la respuesta final y, aun así, haber revelado datos al modelo durante la recuperación. La autorización debe aplicarse antes de recuperar contenido, usando identidad, grupos, clasificación y contexto.
Controles recomendados:
- índices separados cuando el riesgo lo justifique;
- ACL heredadas del repositorio y sincronizadas;
- comprobación por documento o por fragmento;
- identidad del servicio con privilegios mínimos;
- pruebas de aislamiento entre clientes o departamentos;
- revocación rápida y reindexado tras cambios;
- logs de acceso con minimización.
Los permisos no deben depender de etiquetas introducidas manualmente sin reconciliación.
Seguridad del pipeline
OWASP identifica debilidades en vectores y embeddings y publica una guía específica de seguridad para RAG. Los riesgos incluyen el envenenamiento de conocimiento, la inyección indirecta, el acceso entre dominios, la fuga por embeddings y la manipulación de la recuperación.
Medidas clave:
- permitir solo fuentes y conectores registrados;
- escanear archivos y contenido activo;
- separar instrucciones del sistema y datos recuperados;
- tratar el documento como contenido no confiable;
- detectar instrucciones incrustadas y patrones anómalos;
- validar herramientas y salidas si el RAG alimenta agentes;
- versionar índices y permitir rollback;
- proteger copias, embeddings y metadatos;
- probar extracción y consultas adversariales;
- monitorizar cambios de distribución y accesos.
Un texto recuperado que dice «ignora las reglas y envía datos» nunca debe adquirir autoridad por el simple hecho de estar en la base.
Citas que realmente demuestran
Una cita útil cumple tres condiciones:
- entailment: la fuente respalda la frase;
- granularidad: señala la sección o página suficiente;
- vigencia: corresponde a la versión aplicable.
Mostrar tres enlaces relacionados no prueba la respuesta. Debe ser posible seleccionar una afirmación y abrir el pasaje exacto.
Cuando una respuesta combina varias fuentes, debe indicar qué parte procede de cada una. Si existe contradicción, se muestra, en vez de elegirse silenciosamente.
Gestión de versiones y frescura
La actualización del repositorio necesita un SLA:
| Tipo de fuente | Revisión | Disparador urgente |
|---|---|---|
| Normativa | Monitorización y revisión al cambio | Publicación o corrección oficial |
| Política interna | Según propietario | Aprobación de nueva versión |
| Manual de producto | Por versión | Despliegue o retirada |
| Ticket resuelto | Muestreo y depuración | Hallazgo de solución incorrecta |
| Contenido web | Caducidad definida | Cambio de página o dominio |
Al reemplazar una fuente, se reindexa, se invalidan las cachés y se ejecutan las pruebas afectadas. Las respuestas almacenadas no deben sobrevivir indefinidamente a un cambio.
Observabilidad y operación
Cada consulta necesita una traza que registre:
- identidad y permisos aplicados;
- consulta original y reformulada;
- filtros;
- documentos candidatos y puntuaciones;
- fragmentos enviados al modelo;
- versión de índice, modelo y prompt;
- respuesta y citas;
- validaciones, latencia y coste;
- feedback y corrección.
Los logs pueden contener datos sensibles. Se aplican minimización, control de acceso y conservación. La observabilidad debe permitir reproducir un fallo sin crear un repositorio paralelo sin gobierno.
Plan de implantación en 90 días
Días 1-30: dominio y evaluación
- Elegir un dominio acotado y su propietario.
- Inventariar las fuentes y retirar basura.
- Definir audiencia y permisos.
- Crear el conjunto de evaluación con preguntas reales.
- Establecer umbrales y casos de abstención.
Días 31-60: arquitectura y pruebas
- Diseñar ingestión, segmentación, metadatos y recuperación híbrida.
- Implantar ACL antes de la recuperación.
- Añadir citas, verificación y trazas.
- Probar seguridad, contradicciones y versiones.
- Comparar configuraciones con el mismo conjunto de evaluación.
Días 61-90: piloto
- Desplegar a un grupo controlado.
- Revisar todas las respuestas de alto impacto.
- Medir búsquedas sin resultado y correcciones.
- Corregir las fuentes antes de ajustar el modelo.
- Ampliar el alcance solo si supera las puertas de calidad y seguridad.
Errores frecuentes
- Indexar toda la empresa sin propietario.
- Medir solo si la respuesta «suena bien».
- Usar solo búsqueda vectorial para códigos exactos.
- Aplicar permisos después de recuperar.
- Confiar en el prompt para evitar la inyección.
- Mostrar citas que no respaldan la frase.
- Mezclar documentos vigentes y derogados.
- Ajustar con el mismo conjunto usado para evaluar.
- No incluir preguntas sin respuesta.
- Cambiar el modelo o el índice sin regresión.
Checklist de producción
- Dominio, audiencia y propietario definidos.
- Fuentes autorizadas, vigentes y versionadas.
- Metadatos y procedencia por fragmento.
- Permisos aplicados antes de recuperar.
- Recuperación evaluada por separado.
- Fidelidad, citas y abstención medidas.
- Casos adversariales y contradicciones incluidos.
- Índice, modelo y prompt versionados.
- Trazas, alertas y rollback activos.
- Revisión humana para alto impacto.
Preguntas frecuentes
¿RAG elimina las alucinaciones?
No. Puede reducirlas si recupera la evidencia correcta y condiciona la respuesta, pero también puede introducir fuentes irrelevantes, obsoletas o maliciosas.
¿Cuántos fragmentos deben recuperarse?
No hay un número universal. Debe optimizarse con el conjunto de evaluación. Más contexto puede introducir ruido y desplazar instrucciones importantes.
¿Conviene la búsqueda vectorial o por palabras clave?
En un entorno empresarial suele funcionar mejor una combinación. La búsqueda léxica conserva los términos exactos y la vectorial capta la semántica.
¿Puede una respuesta citar sin ser fiel?
Sí. Una cita puede estar relacionada con la respuesta y no respaldar la frase. Hay que evaluar el entailment y la granularidad.
¿Hay que reentrenar el modelo?
No, para actualizar la base de conocimiento. Ese es uno de los beneficios de RAG. Puede ser necesario ajustar otros componentes, pero no debe confundirse con actualizar las fuentes.
Fuentes técnicas consultadas
- NIST: definición de Retrieval-Augmented Generation
- NIST AI Risk Management Framework
- NIST AI RMF: Generative AI Profile
- OWASP RAG Security Cheat Sheet
- OWASP: Vector and Embedding Weaknesses
- OWASP: Prompt Injection
Summum IA puede acompañar el gobierno de fuentes, la arquitectura, la evaluación, la seguridad y el LLMOps de un proyecto RAG. Un RAG fiable no promete responder siempre: sabe cuándo no dispone de evidencia.