El problema no es la RAG, sino el contexto

La ingeniería de prompts ha acaparado mucha atención en el último año. Por fin ha llegado el momento de pasar a una experiencia mejor que transforme la forma en que se nos proporcionan los resultados de la IA. Los datos últimamente han influido en muchas decisiones y con razón. Los técnicos han estado trabajando en formas de mejorar las predicciones y recomendaciones de la IA. La ingeniería contextual es una de ellas. Esta semana estudiaremos cómo mejorar los sistemas de generación aumentada por recuperación (RAG) mediante la ingeniería contextual.

Diseñe el contexto

A estas alturas, ya habrá descubierto que la IA no es tan inteligente como pensaba. Las herramientas actuales de GenAI optimizan sus resultados en función de sus indicaciones. Lo anterior requiere esencialmente una ingeniería rápida. Gracias a la ingeniería contextual, es posible optimizar las indicaciones que se introducen en los LLM para obtener resultados mejor optimizados.

Esto podría significar añadir contexto a la pregunta —como la fuente, la fecha, la frecuencia, etc.— dependiendo del caso de uso del LLM.

Por ejemplo, supongamos que un usuario está hablando con un chatbot en una página de seguros médicos y quiere saber la lista de hospitales que cubre su seguro. El LLM debe recuperar los datos pertinentes y actualizados de la base de datos. La ingeniería contextual, con la estructura back-end adecuada, garantizaría que se proporciona la información correcta, independientemente de si el usuario proporciona el contexto adecuado.

Introduzca resúmenes en el LLM

Introducir un resumen en el LLM es otra forma de optimizar los resultados. En lugar de introducirle trozos de datos sin procesar, puede utilizar la ingeniería contextual para introducir resúmenes de datos de modo que los resultados se optimicen. Esto mejora la precisión.

Por ejemplo, si un usuario quiere saber si su seguro exige un deducible, el LLM no tiene que analizar todo el documento de 60 páginas para averiguarlo. Introducir datos resumidos en el sistema ayuda a que los resultados lleguen antes y mejora la precisión.

Añada contexto negativo

Se trata de una estrategia infrautilizada en lo que respecta a los LLM. Dar instrucciones al LLM sobre lo que no debe hacer mejora los resultados.

Por ejemplo, los avisos que incluyen instrucciones como "No recupere datos de directivas anteriores a 2024" funcionan bien y reducen las posibilidades de recibir información obsoleta. Esto puede aplicarse a los LLM en muchos casos de uso y puede ser extremadamente útil para obtener la información correcta.

Unas últimas palabras

Encontramos constantemente formas de optimizar los LLM para obtener resultados más rápidos y mejores. Es sumamente importante utilizarlos en nuestras empresas para aprovechar los datos disponibles y tomar decisiones con conocimiento de causa. Es hora de que lo hagamos a través de la ingeniería contextual.

La ingeniería contextual es una poderosa evolución de la ingeniería rápida. Incorporarla a nuestros sistemas de RAG es una decisión inteligente.