RAG puede conectar un modelo con la información de la empresa, pero la calidad depende de las fuentes, permisos, recuperación, citación y evaluación, no solo de los embeddings.

La respuesta breve

Utiliza RAG cuando la respuesta deba basarse en fuentes que puedan actualizarse y citarse. No lo utilices para ocultar la falta de gobernanza documental ni para eludir los permisos de las aplicaciones originales.

El siguiente paso es aclarar la decisión, la responsabilidad y las pruebas que aceptaremos antes de elegir una herramienta.

El modelo de decisión

01. Fuentes

Elige los documentos relevantes, define sus responsables y el ciclo de actualización.

02. Acceso

Conserva los derechos del usuario y filtra la recuperación antes de generar la respuesta.

03. Recuperación

Prueba la segmentación, los metadatos, la búsqueda y la reordenación de resultados con preguntas reales.

04. Evaluación

Mide la exhaustividad de la recuperación, el respaldo de la respuesta, las citas, el rechazo y la latencia.

Aplicación práctica

01. El contexto inicial

Crea un registro de fuentes antes de indexar. Para cada documento, anota la persona responsable, el público autorizado, la fecha de actualización, la versión, la sensibilidad y la regla de conservación. RAG no resuelve contradicciones entre políticas o documentos antiguos; puede hacer que se recuperen con mayor facilidad. Sin gobernanza, la respuesta puede citar correctamente una fuente que ya no sea válida para ese usuario.

02. La ejecución controlada

Diseña la recuperación por separado de la generación. Prueba la segmentación, los metadatos, el filtrado por permisos, la combinación de búsqueda léxica y semántica, el número de resultados y su reordenación. Muestra las citas de forma que el usuario pueda comprobar el pasaje. El modelo debe poder indicar que no tiene respaldo suficiente, en vez de rellenar los huecos entre fragmentos con una explicación verosímil.

03. Las pruebas útiles

El conjunto de evaluación se construye con preguntas reales e incluye respuestas directas, comparaciones, preguntas sin respuesta, conflictos y solicitudes no permitidas. Mide si se ha recuperado la fuente correcta, si la afirmación está respaldada y si se han respetado los derechos de acceso. Evalúa por separado la recuperación y la respuesta; de lo contrario, no sabrás si el error procede de la búsqueda, del contexto o del modelo.

04. El umbral de decisión

RAG está listo para utilizarse cuando las fuentes tienen responsables, la actualización es repetible, los permisos se aplican en cada consulta y las regresiones pueden detectarse. Si el equipo debe corregir con frecuencia los documentos después de respuestas erróneas, el proyecto tiene primero un problema de gestión del conocimiento. A veces, el resultado más valioso del piloto es depurar las fuentes, no lanzar de inmediato la interfaz de IA.

Escenario y plan de trabajo

01. Ejemplo de diagnóstico

Una base de conocimiento puede contener procedimientos actuales, versiones antiguas, documentos para la dirección e información restringida a un equipo. Si todo se indexa sin metadatos ni filtrado, una respuesta puede combinar fuentes incompatibles o mostrar un pasaje válido a una persona no autorizada. El registro de fuentes y el filtrado preceden a los embeddings. Ante una pregunta sin respaldo, el comportamiento correcto es rechazar la respuesta e indicar qué información falta. Las citas permiten comprobar no solo la frase, sino también la versión y el derecho de uso del documento.

02. Plan de implementación

El piloto empieza con un ámbito reducido y un conjunto de preguntas recogidas de los usuarios. Evalúas la recuperación antes de la generación: si no aparece el pasaje correcto, cambiar el modelo de respuesta no ayuda. Pruebas la segmentación, los metadatos y los permisos; después, la calidad de la afirmación y de las citas. Añades un proceso de reindexación y eliminación, supervisas las preguntas sin respuesta y conservas el feedback verificado. La ampliación a otros departamentos se hace solo cuando los responsables de las fuentes aceptan la obligación de actualizarlas y las reglas de acceso pueden aplicarse de forma coherente.

03. El registro de decisiones

Para poder seguir las recomendaciones de «RAG con los datos de la empresa: fuentes, permisos y evaluación», abrimos un registro sencillo antes del primer cambio. Anotamos el problema observado, el punto de partida, la hipótesis, la persona responsable, el periodo de evaluación y la condición para parar o continuar. Las pruebas proceden de las fuentes adecuadas para el tema y los indicadores técnicos se separan de los resultados comerciales. La primera medida que seguimos son los documentos relevantes recuperados, sin aislarla de la calidad de los datos, el coste total ni los efectos en los pasos siguientes. Así, una decisión puede explicarse y repetirse, en lugar de intuirse a partir de un panel favorable.

04. Revisión y siguiente decisión

Al final del ciclo comparamos el resultado con el punto de partida y registramos qué ha cambiado, qué sigue siendo incierto y qué efectos secundarios han aparecido. Comprobamos expresamente si se cumplen las condiciones «Las fuentes tienen responsables y versiones» y «Los permisos se aplican durante la recuperación». Si los datos no permiten concluir, mantenemos abierta la hipótesis en vez de declarar el éxito. El riesgo de «Indexar todos los archivos sin seleccionar» permanece visible en la revisión, para que la presión por demostrar avances no sustituya al análisis. Elegimos el siguiente paso solo cuando el equipo puede explicar qué ha aprendido y por qué la nueva prioridad importa más que las alternativas.

Lista de comprobación antes de implementar

  • Las fuentes tienen responsables y versiones.
  • Los permisos se aplican durante la recuperación.
  • La respuesta cita el fragmento utilizado.
  • El sistema rechaza la respuesta cuando no encuentra respaldo.
  • La evaluación incluye preguntas sin respuesta.
  • La actualización y la eliminación se prueban.

Qué medimos

Definimos los indicadores antes del lanzamiento y distinguimos las señales técnicas de los resultados confirmados.

  • documentos relevantes recuperados;
  • respuestas respaldadas y citas correctas;
  • tasa de rechazo adecuado;
  • latencia, coste y feedback.

Errores y límites

  • Indexar todos los archivos sin seleccionar.
  • Aplicar la misma segmentación a formatos distintos.
  • Ignorar las listas de control de acceso (ACL).
  • Evaluar solo mediante la impresión humana sobre unas pocas preguntas.

Conclusión

Un buen sistema RAG hace visibles la fuente y la incertidumbre. La calidad procede de la gobernanza de la información y la evaluación, no del tamaño del índice.