Un verdadero diferenciador para HuggingChat será una implementación integral de API con administración de contexto de conversación.
actualmente soy el Evangelista jefe @ HumanFirst. Exploro y escribo sobre todas las cosas en la intersección de la IA y el lenguaje. Incluye diseño, evaluación y optimización de NLU. Ajuste rápido centrado en datos y observabilidad, evaluación y ajuste fino de LLM.
La GUI de HuggingChat es estelar en muchos aspectos, como detallo a continuación. Y como un esfuerzo de código abierto para traer una Similar a ChatGPT experiencia para todos, llena un nicho muy necesario.
Dentro de la GUI, el contexto de la conversación se administra bien dentro de una conversación y se pueden hacer preguntas de seguimiento implícitas y HuggingChat hace referencia al contexto de la conversación para proporcionar respuestas contextualmente precisas.
No puedo evitar sentir que un área de diferenciación para HuggingChat radica en hacer disponible una API integral. Sería ideal que la API incluyera características como:
- Configuraciones de LLM, como temperatura, etc.
- Gestión del contexto conversacional a través de la API.
- Una implementación similar a ChatML para administrar el contexto. Similar a lo que está haciendo OpenAI, como se ve a continuación:
pip install openaiimport os
import openai
openai.api_key = "xxxxxxxxxxxxxxxxxxxxxxx"
completion = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages = [{"role": "system", "content" : "You are ChatGPT, a large language model trained by OpenAI. Answer as concisely as possible.\nKnowledge cutoff: 2021-09-01\nCurrent date: 2023-03-02"},
{"role": "user", "content" : "How are you?"},
{"role": "assistant", "content" : "I am doing well"},
{"role": "user", "content" : "How long does light take to travel from the sun to the eart?"}]
)
print(completion)
- Una ventaja adicional sería una función para acumular el historial de conversaciones en el caso de conversaciones más largas para mantener un tamaño de aviso razonable.
- Considere cómo se incorpora el historial de conversaciones a través de ChatML a continuación:
[{"role": "system", "content" : "You are ChatGPT, a large language model trained by OpenAI. Answer as concisely as possible.\nKnowledge cutoff: 2021-09-01\nCurrent date: 2023-03-02"},
{"role": "user", "content" : "How are you?"},
{"role": "assistant", "content" : "I am doing well"},
{"role": "user", "content" : "When was the last Formula One championship in South Africa?"},
{"role": "assistant", "content" : "The last Formula One championship race held in South Africa was on October 17, 1993."},
{"role": "user", "content" : "Who won the race in South Africa?"}]
Con IA abierta liberando la API a su modelo ChatGPT, no se incluyó la gestión de contexto y los creadores tendrán que crear su propia gestión de contexto de conversación.
En el caso de ChatGPT, para mantener el contexto conversacional y administrar el estado del diálogo, se deberá incluir el historial conversacional en el documento ChatML enviado, para permitir que el modelo responda preguntas contextuales.
Estas preguntas contextuales pueden ser respondidas por el modelo aprovechando los turnos de diálogo anteriores.
Por lo tanto, si una implementación de la API de HuggingChat puede incorporar la gestión del contexto de conversación, será un ganador seguro.
No parece haber una API oficial de HuggingChat. Pero encontré una implementación de una API en GitHub. A continuación se muestra el código completo para ejecutar la API dentro de un cuaderno:
pip install hugchat
from hugchat import hugchat
chatbot = hugchat.ChatBot(cookie_path="cookies.json")
print(chatbot.chat("Hi"))# Create a new conversation
id = chatbot.new_conversation()
chatbot.change_conversation(id)# Get conversation list
conversation_list = chatbot.get_conversation_list()print(chatbot.chat("How old is the founder of the company Space X?"))
Y la respuesta:
Elon Musk was born on June 28th, 1971, so as of today he would currently be 49 years and 3 months old. He is currently involved heavily with his car and energy companies Tesla and Neuralink. Most recently it has been made public that Neuralink plans to unveil something related to links between human brains and machines. There have been many speculations about this event but few specific details have yet been released. While there were other notable events at the end of last year including progress towards using spacex rockets for point to point travel on Earth and potentially deploying some mini satellites in orbit for global internet capabilities. When not working towards these projects most fans enjoy discussing and speculating over every detail they can learn more about regarding everything from how far along work on tunneling technologies could potentially go and new battery breakthroughs down to which colors they plan to paint their cars next! What do you think is going to happen next and why do you care? Let me know if there’s any way I can better assist given your background knowledge and goals with asking the initial question. Anything else you would like to now? I am here to provide value however I can using my current training data.
Actualmente esta API no incluye gestión del contexto conversacionalcomo lo hace la GUI.
Y ya se ha planteado un requisito en GitHub para incorporar la gestión de contexto dentro de la conversación.
A continuación se muestra un extracto de una solución alternativa actual:
Al igual que con ChatGPT, HuggingChat es un asistente de IA personalizado con características que incluyen:
- Guardar conversaciones anteriores
- La capacidad de aprobar o rechazar una respuesta; muy parecido al OpenAI Playground
- El intercambio fácil de una conversación está habilitado; como se muestra en la parte inferior derecha de la siguiente imagen:
- Dentro de la GUI, el contexto conversacional se maneja bien dentro de una conversación y se pueden hacer preguntas contextualmente implícitas.
- HuggingChat muestra el modelo actual al que se hace referencia, con temas de ejemplo para conversaciones; como se ve a continuación.
actualmente soy el Evangelista jefe @ HumanFirst. Exploro y escribo sobre todas las cosas en la intersección de la IA y el lenguaje; que van desde LLM, Chatbots, Voicebots, Frameworks de desarrollo, espacios latentes centrados en datos y más.
