Consulta tus documentos con generación de recuperación aumentada usando AzureOpenAI, Langchain y Streamlit | de Ozgur Guler | mayo, 2023

Ozgur Güler
DallE2 — robot leyendo un documento

La generación de recuperación aumentada consiste en dividir un documento en fragmentos, incrustar los fragmentos e indexarlos. Cuando se recibe una consulta, hacemos una búsqueda de similitud entre las incrustaciones de la consulta y el espacio de incrustaciones de fragmentos de documentos previamente incrustados con una base de datos vectorial. Ya he cubierto esto en mi publicación anterior aquí …

Ahora implementemos lo mismo con Azure OpenAI…

Esta vez usaré Streamlit para crear una demostración en lugar de trabajar en un cuaderno Jupyter. Utilizo las mismas funciones que el procesador de documentos y creo incrustaciones usando el mismo código y las guardo en caché bajo la función «procesar pdf».

función de procesador de documentos para crear incrustaciones de fragmentos

Esta vez defino api_type como azure, doy la URL base de la API de azure y la clave de la API de AzureOpenAI y uso deployment_name como API de finalización «text-davinci-003» definida en el servicio de AzureOpenAI.

Modelos implementados de Azure Portal OpenAI (utilizo el nombre del modelo como nombre de implementación para evitar confusiones)
Credenciales Dafine AzureOpenAI y la cadena

load_qa_chain proporciona la interfaz más genérica para responder preguntas. Carga una cadena en la que puede hacer QA para sus documentos de entrada y usa TODO el texto en los documentos.

Finalmente definimos la aplicación Streamlit…

Definir cadena Streamlit
aplicación optimizada

Ahora tenemos una interfaz de usuario adecuada con Streamlit que podemos usar para consultar nuestro libro «Seneca’s on the shortness of life».

Por favor, dale me gusta / suscríbete si encuentras útil la información en el blog…

Únase a mi boletín informativo para desarrolladores de Azure OpenAI a través de este enlace si desea recibir actualizaciones quincenales sobre lo último para crear aplicaciones con Azure OpenAI.


Comentarios

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *