Un agente de indexación

El origen de RAG: un sistema entrenado de extremo a extremo

Cuando Lewis y sus colegas dieron nombre a la generación aumentada por recuperación en 2020, entrenaron el recuperador y el generador conjuntamente para la tarea. Lee la figura de izquierda a derecha antes de observar la flecha de la parte superior.

La clave del diseño está en la flecha «Retropropagación de extremo a extremo por q y p_θ». Una sola función de coste (loss) actualizaba ambas partes. El codificador de consultas aprendía qué fragmentos de información podía aprovechar el generador, y el generador aprendía a apoyarse en la evidencia recuperada en vez de depender solo de su memoria.

El recuperador nació como parte del modelo y se adaptaba a la tarea, mucho antes de que se describiera como una herramienta de búsqueda colocada delante de un modelo.

Uso de modelos preentrenados para RAG

Una API de inferencia no proporciona acceso para actualizar los pesos del modelo. Entrenar conjuntamente un recuperador y un generador autoalojados requiere los pesos del modelo, datos de entrenamiento y recursos de cómputo.

El flujo de trabajo de este ejemplo utiliza modelos preentrenados sin actualizar sus pesos. Un recuperador selecciona pasajes para incluirlos en el prompt de generación. Puedes modificar la recuperación e inspeccionar sus resultados sin entrenar el generador.

Define el paquete de contexto antes de elegir el almacenamiento

Antes de elegir una primitiva de recuperación, define un paquete: el conjunto completo y acotado de contexto que circulará por el pipeline.

• Para un sistema sencillo de preguntas y respuestas de un solo turno, el paquete puede ser pequeño: la pregunta, unos pocos fragmentos recuperados y la respuesta.
• Para un agente autónomo, el paquete es la memoria de trabajo que conserva durante varios turnos: restricciones, decisiones anteriores, resultados parciales, herramientas disponibles y reglas operativas.
• Para un agente de indexación de alcance arbitrario, el paquete de salida puede contener solo los fragmentos recuperados, sus fuentes, puntuaciones de relevancia y quizá un resumen. Un paquete interno distinto puede representar el pipeline lineal de la solicitud o un bucle ReAct que evalúa la relevancia y reintenta hasta reunir suficiente contexto.

El principio del paquete de contexto orienta la planificación: define el paquete antes de elegir la base de datos. La tabla siguiente ayuda a comprobar si el mecanismo elegido puede proporcionar el contexto que necesita tu tarea.

Dónde encaja MCP en un sistema de recuperación

MCP le proporciona a un sistema de recuperación una interfaz definida para descubrir y consultar fuentes de contexto externas. Sin embargo, el agente todavía necesita un motor de ejecución que decida cuándo recuperar esa información, valide los resultados y los integre con el estado actual de la tarea en curso. Otras interfaces se encargan de los componentes restantes del sistema: los paquetes de habilidades (skills) agrupan instrucciones de capacidades reutilizables, el sistema A2A (Agent-to-Agent) puede derivar el trabajo a especialistas remotos, y los protocolos de interfaz de usuario transmiten en tiempo real (stream) el estado generado de vuelta a la aplicación.

La figura separa esas fronteras. Léela de izquierda a derecha para seguir la entrada de contexto mediante MCP y la entrega de tareas mediante A2A; de abajo arriba, para seguir la intermediación de capacidades mediante skills, la ejecución en el runtime y la experiencia generada. Elige la frontera que corresponda al paquete y al estado del sistema que debe transportar.

Asocia una primitiva de recuperación a la forma de los datos

La tabla enumera opciones de recuperación para distintas formas de datos. Elige a partir de preguntas representativas, la evidencia que necesita cada respuesta y el coste de recuperarla; evalúa si los resultados devueltos cubren esa evidencia.

El ejemplo de prosa no estructurada recupera pasajes de un corpus y pide al modelo que responda a partir de ellos. Comprueba si esos pasajes respaldan la respuesta.

Cada solicitud recorre los mismos cuatro pasos:

• Convertir la consulta en un vector mediante un embedding.
• Buscar en el índice los fragmentos más similares.
• Añadir esos fragmentos al prompt.
• Generar una respuesta con una instrucción para usar esos pasajes.

Otros recuperadores pueden usar búsquedas por palabras clave o consultas estructuradas. Elige el método de recuperación adecuado para tus datos y después inspecciona qué evidencia proporciona al generador.

Buscar fragmentos pequeños y devolver el documento padre

Un agente de indexación top-K básico afronta una tensión entre recall y precisión que ningún modelo de embeddings elimina. Debes elegir entre fragmentos breves y documentos largos:

• Los fragmentos cortos centran el embedding en un pasaje más acotado, pero pueden omitir contexto necesario para responder la pregunta.
• Los documentos largos incluyen más contexto, pero representar varios temas en un solo embedding puede diluir la coincidencia con una pregunta específica.

Una opción consiste en indexar en dos niveles. Se generan embeddings de fragmentos pequeños para la recuperación; una coincidencia selecciona el documento padre para aportar más contexto a una etapa posterior de generación.

El ejercicio usa tres documentos padre, cada uno dividido en fragmentos breves, y una consulta que devuelve el documento padre correspondiente.

Presenta el índice como una herramienta que el modelo puede invocar

Un índice aislado solo responde cuando algo lo consulta. Se convierte en un agente de indexación cuando se presenta como una herramienta que el modelo puede elegir. Así, el modelo decide cuándo merece la pena recuperar datos. La celda lo hace en cinco etapas:

1. El corpus se procesa una vez y se conserva en un índice en memoria.
2. Se declara una herramienta retrieve(question, k) mediante un esquema JSON.
3. El agente recibe la pregunta y decide si invoca la herramienta.
4. Si la invoca, ejecuta la recuperación por coseno; los pasajes top-K se añaden como mensaje de herramienta.
5. Una segunda llamada al LLM redacta la respuesta final a partir de los pasajes recuperados.

Puedes conservar la interfaz de la herramienta y sustituir la búsqueda por coseno en memoria por un ejecutor de servidor con FAISS+BM25+reranking. Valida sus resultados y su comportamiento ante fallos antes de incorporarlo al ciclo.

Cómo se construyen las otras tres formas

Ya has construido la vía de la prosa no estructurada desde el corpus hasta la respuesta. Las otras tres aparecen aquí para que puedas reconocerlas y elegir la primitiva adecuada. Cada una tiene un patrón de producción establecido:

• Documentos jerárquicos. Un segmentador conserva la jerarquía de títulos y combina extracción atómica de tablas, punteros al elemento padre y un índice doble para búsqueda estructural y semántica. Se indexan fragmentos hijos para mejorar el recall y se recupera el padre correspondiente para que el modelo lea la cláusula dentro de su sección.
• Recuperación de imágenes de página para figuras y gráficos. Una configuración con dos espacios vectoriales genera embeddings de la página renderizada y de su texto. Así, la consulta también puede recuperar una figura o diapositiva cuando la respuesta esté en el contenido visual.
• Tablas estructuradas y gobernadas. No se construyen en este curso. El patrón de producción sitúa una capa semántica entre el agente y los datos por fila, y expone solo las métricas seleccionadas que requiere el paquete.
• Datos relacionales o grafos. En lugar de un almacén vectorial, el agente invoca una herramienta de recorrido de grafos escrita en Cypher, GraphQL o una interfaz propia. Recibe un subgrafo cuyas aristas explícitas llegan al prompt y conservan las relaciones entre entidades.

Cuando top-K es la herramienta equivocada: GraphRAG y preguntas globales

Cada recuperador de esta página responde a una pregunta local cuya respuesta aparece en unos pocos pasajes que top-K puede encontrar, como qué dice un contrato sobre la rescisión o qué artículo introdujo HyDE. Otra clase de pregunta no tiene respuesta en ningún pasaje aislado. Si preguntas por los temas principales de mil documentos, la respuesta emerge del corpus completo.

Con K fijado en 3, top-K devuelve tres coincidencias del ejemplo de mil pasajes. La generación recibe esos pasajes seleccionados, que pueden no cubrir temas presentes en otras partes del corpus. GraphRAG (Edge et al. 2024) cambia la forma del problema en lugar de aumentar K. Utiliza un LLM durante la indexación para:

• leer el corpus y extraer entidades y las relaciones entre ellas en un grafo de conocimiento;
• detectar las comunidades del grafo, es decir, grupos de entidades densamente conectadas;
• resumir cada comunidad por separado.

En el momento de la consulta, el sistema resume las comunidades pertinentes y reduce las respuestas parciales a una sola. Es un proceso map-reduce sobre la estructura, no una búsqueda por similitud.

La celda siguiente compara, en un corpus pequeño, la recuperación top-K con la fase de resúmenes de comunidades usada en GraphRAG. Los grupos son etiquetas definidas por el autor, no un grafo extraído por el modelo. La ruta de resúmenes recibe todos los grupos y sus nombres; top-K recibe solo los pasajes seleccionados. Comprueba qué afirmaciones respalda cada respuesta y después cambia K, los grupos o la pregunta.

Una selección top-K pequeña puede omitir evidencia necesaria para preguntas sobre todo el corpus. Los resúmenes de comunidades pueden ampliar la cobertura, pero también hay que evaluar sus agrupaciones y resúmenes. Este ejemplo los genera en cada ejecución; un sistema mayor puede crearlos y almacenarlos antes de recibir consultas.