Ora Kassner tenía dudas sobre la inteligencia de su computadora y se preguntaba si realmente estaba a la altura de la exageración que la rodeaba. En 2018, Google presentó BERT, un algoritmo para el modelado del lenguaje, que Kassner, como investigadora en el mismo dominio, instaló rápidamente en su computadora portátil. BERT marcó el modelo de lenguaje autodidacta inaugural de Google, entrenado en un extenso corpus de datos en línea. Entre sus colegas, Kassner quedó impresionada por la capacidad de BERT para completar oraciones y responder consultas simples, dando la impresión de que este modelo de lenguaje grande (LLM) poseía capacidades de lectura similares a las humanas, si no mejores.
Sin embargo, Kassner, que entonces cursaba sus estudios de posgrado en la Universidad Ludwig Maximilian de Munich, mantuvo su escepticismo. Ella creía que los LLM deberían poseer una comprensión genuina del significado detrás de sus respuestas, incluido lo que implican y lo que no. Una cosa era que un modelo comprendiera que un pájaro podía volar; Kassner argumentó que el modelo debería reconocer inherentemente la falsedad en una declaración negada como «un pájaro no puede volar». En 2019, junto con su asesor Hinrich Schütze, Kassner decidió poner a prueba BERT y otros dos LLM. Para su consternación, descubrieron que estos modelos trataban palabras como «no» como si fueran invisibles.
Desde entonces, los LLM han experimentado avances sustanciales tanto en tamaño como en capacidad.
También te puede interesar
Cómo escribir una función en Python y crear un chatbot | de Vera Douye Ekpebu | mayo, 2023Aunque los chatbots han logrado avances en la imitación del comportamiento humano, todavía luchan con la negación. Si bien comprenden las implicaciones de la incapacidad de un pájaro para volar, titubean cuando se enfrentan a un razonamiento lógico más intrincado que involucra palabras como «no», una tarea que no representa un desafío para un ser humano.
Enseñar a una computadora a leer y escribir como un ser humano demuestra ser un desafío formidable. Las máquinas se destacan en el almacenamiento de grandes cantidades de datos y la realización de cálculos complejos, lo que lleva a los desarrolladores a construir LLM como redes neuronales: modelos estadísticos que miden las relaciones entre objetos, en este caso, palabras. Cada asociación lingüística tiene un peso que, durante el entrenamiento, se ajusta finamente para representar la fuerza de esa relación. Por ejemplo, la conexión entre «rata» y «roedor» tiene más peso que «rata» y «pizza», incluso si ha habido casos de ratas disfrutando de una porción de este último.
A diferencia de los humanos, los LLM procesan el lenguaje convirtiéndolo en representaciones matemáticas. Este enfoque facilita sus capacidades de generación de texto, ya que predicen posibles combinaciones de texto. Sin embargo, viene con un inconveniente.
Es un error razonable, como explica Ettinger, que «petirrojo» y «pájaro» estén fuertemente correlacionados en numerosos contextos debido a su alta probabilidad de coexistencia. Sin embargo, cualquier ser humano puede identificar fácilmente la falacia de este razonamiento.
También te puede interesar
Parecería que un chatbot conoce el bien contra el mal | por Solanews | mayo, 2023Para 2023, ChatGPT de OpenAI y el bot de Google, Bard, lograron un progreso significativo, lo que les permitió predecir con precisión que el padre de Albert le había entregado una pala, no un arma. Este progreso se puede atribuir a la disponibilidad de conjuntos de datos mejorados y ampliados, lo que permite mejores predicciones matemáticas.
Esto genera la pregunta: ¿Por qué frases como «no» o «no es» simplemente le piden a la máquina que ignore las principales predicciones de «hacer» y «es»?
Este fracaso no es una coincidencia. Negaciones como «no», «nunca» y «ninguno» pertenecen a una categoría conocida como palabras vacías, que tienen un propósito funcional más que descriptivo. A diferencia de palabras como «pájaro» y «rata», que poseen significados claros, las palabras vacías no aportan contenido por sí mismas. Otros ejemplos de palabras vacías incluyen «un», «el» y «con».
Más contenido en PlainEnglish.io.
También te puede interesar
Is ChatGPT Shaping the Future of Technology? (2023) | by Thao HO | May, 2023Suscríbete a nuestro boletín semanal gratuito. Siga con nosotros Gorjeo, LinkedIn, YouTubey Discordia.
