El poder y las trampas de los grandes modelos lingüísticos
El dominio de la inteligencia artificial ha sido sinónimo de crecimiento exponencial durante los últimos 10 años.
Para que una innovación se destaque en este campo, donde la disrupción es lo habitual, debe ser espectacular. Y espectacular es exactamente cómo podemos describir el progreso reciente en la comprensión y generación de idiomas a través de innovaciones como ChatGPT y GPT-4.
Todo esto es impresionante, pero plantea una simple pregunta: ¿Qué hay para ti?
En lo que sigue, intentaremos responder exactamente a esta pregunta discutiendo el potencial disruptivo de estas tecnologías. También exploraremos las limitaciones de estos modelos y nos centraremos en cómo podemos superar estos desafíos. Porque después de todo:
“El pesimista ve dificultad en cada oportunidad.
El optimista ve oportunidades en cada dificultad”
ChatGPT y GPT-4 han conquistado el mundo del procesamiento del lenguaje natural. Los entusiastas ven el amanecer de la IA a nivel humano, los investigadores no ven nada especial y los escépticos ven una razón para comenzar a acumular papel higiénico.
Antes de explorar cómo podemos aprovechar estos avances para obtener una ventaja estratégica, consideremos por qué estamos viendo este progreso en primer lugar.
Será una sorpresa para muchos que el principio de funcionamiento detrás de ChatGPT y GPT-4, llamado «transformador”, existe desde 2017.
como el “4” en GPT-4 sugiere, lo que estamos viendo ahora no es tanto un cambio radical en la forma de generar texto como la culminación de 6 años de mejoras incrementales en el mismo método.
En palabras de Steve Jobs:
“Si miras muy de cerca, la mayoría de los éxitos de la noche a la mañana tomaron mucho tiempo”
Dicho esto, todavía surge la pregunta de ¿por qué ahora?
La respuesta a esa pregunta es triple:
👉 Más grande y mejor
👉 Incorporación de retroalimentación humana con RLHF
👉 La gente no puede comprar lo que no conoce
Mas grande y mejor
Una verdad simple sobre la comprensión del lenguaje natural es que debe tener en cuenta una gran cantidad de matices sutiles. Si hay que creer en el recuento de parámetros de GPT-4, estamos hablando de 100 billones de estos matices.
Cuanto más grande es un modelo, más capacidad tiene para comprender matices cada vez más finos. A su vez, los recursos computacionales cada vez mayores y los datos disponibles en Internet nos permiten aprovechar esta capacidad.
Es un secreto bien conocido en IA que el mismo modelo pero más grande inevitablemente será mejor. ChatGPT y especialmente GPT-4 son mucho más grandes que sus predecesores, lo que ha mejorado significativamente su rendimiento.
Sin embargo, esta tendencia tiene sus límites. Agregar más capacidad no agregará valor una vez que hayamos alcanzado suficientes parámetros para capturar incluso los matices más finos del lenguaje humano. No hace falta decir que este límite aún no está a la vista.
Incorporación de retroalimentación humana con RLHF
La mayor diferencia entre ChatGPT y GPT-4 y sus predecesores es que incorporan comentarios humanos. El método utilizado para esto es Aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF).
Es esencialmente un ciclo de mejora continua. El sistema genera un texto; el usuario da algún feedback implícito o explícito sobre lo que podría hacer mejor (p. ej., dar una respuesta más detallada); el sistema utiliza esta información para mejorar.
La idea de RLHF también existe desde 2017. 2017 fue un gran año para los avances de 2023. No ha sido ampliamente utilizado hasta hace poco porque la recopilación de comentarios humanos siempre se consideró un cuello de botella en la era de los grandes datos. Después de todo, una computadora puede recorrer proporciones significativas de Internet en cuestión de días, mientras que los humanos nos distraemos después de leer la mitad de un artículo.
La única forma de aprovechar realmente RLHF a escala sería si ChatGPT y GPT-4 tuvieran una base de usuarios masiva que proporcione comentarios constantes.
Parece que ahí es donde entramos tú y yo.
La gente no puede comprar lo que no sabe.
Si bien el surgimiento de ChatGPT puede haber parecido inesperado para muchos, la comunidad de PNL ha logrado avances tremendos en los últimos años, muchos de los cuales tenían el potencial de generar un nivel similar de interés del público en general.
Hasta ahora, sin embargo, estos avances nunca fueron capaces de crear real conciencia entre el público en general. En palabras de Warren Buffett: “si no puedes comunicarte, es como guiñarle el ojo a una chica en la oscuridad: no pasa nada”.
Lo que OpenAI ha hecho de manera magistral es (i) empaquetar su tecnología en una aplicación accesible e intuitiva y (ii) difundir la conciencia masiva sobre lo que están haciendo.
En parte para aumentar la adopción de IA en casos de uso impactantes y posicionarse como líderes en el proceso.
En parte para mantener el volante RLHF girando y hacer que sus productos sean cada vez mejores.
Donde los modelos de IA solían ser solucionadores de problemas específicos, ahora estamos viendo sistemas de IA amplios y versátiles que tienen habilidades que van desde la escritura creativa hasta la programación de computadoras.
Estamos pasando de muchas herramientas individuales en nuestro cinturón de herramientas de IA a unas pocas navajas suizas de IA.
Este nuevo paradigma abre una plétora de posibilidades para obtener una ventaja competitiva. Aunque el lanzamiento de ChatGPT y GPT-4 apenas se ve en el espejo retrovisor, ya podemos ver a los primeros en adoptar estas tecnologías y aprovechar su potencial disruptivo para posicionarse a la vanguardia de sus respectivas industrias.
Algunos ejemplos concretos incluyen:
Mirando más allá de los casos de uso actuales, prevemos que ChatGPT y GPT-4 tendrán un gran impacto en descubrimiento del conocimiento.
Esperamos que las empresas y los gobiernos creen una capa de preguntas y respuestas sobre sus datos internos para permitir la recuperación intuitiva del conocimiento presente en la organización.
En particular, prevemos un impacto especialmente importante en los sectores impulsados por el conocimiento, como el legal, los medios y el gobierno.
Para ilustrar con algunos ejemplos, esto puede:
Para comprender completamente las limitaciones de tecnologías como ChatGPT, es importante comprender su principio de funcionamiento de alto nivel.
Winston Churchill dijo una vez: “de intensas complejidades emergen intensas simplicidades”.
En el caso de ChatGPT y GPT-4, argumentamos todo lo contrario: “de intensas simplicidades emergen intensas complejidades”.
A muchos les sorprenderá que realmente cualquier sistema moderno de generación de texto funcione bajo una premisa muy simple. Todos son sistemas que predicen la siguiente palabra en una oración. Nada más y nada menos.
Comienzan a encadenar palabras una tras otra con el objetivo de construir la secuencia de palabras estadísticamente más probable, dada la indicación original.
En ML6, nos gusta visualizar este proceso como un paseo aleatorio de palabras.
Esto implica que tecnologías como ChatGPT nunca razonan realmente sobre el mensaje que quieren transmitir. Esta falta de razonamiento explícito conduce a limitaciones en términos de confiabilidad, controlabilidad y ética.
Se está haciendo un esfuerzo importante en la construcción barandillas en torno a lo que estos sistemas pueden producir para eludir este problema fundamental. Otra vía prometedora es vincular la información generada con las fuentes para permitir una verificación de hechos conveniente.
Sin embargo, es importante tener en cuenta que tales remedios, si bien son bastante efectivos, no dejan de ser soluciones sintomáticas que apuntan a parchear una limitación fundamental.
A largo plazo, creemos que todavía estamos a un cambio de paradigma de tener modelos de lenguaje grande fundamentalmente confiables y confiables; un paradigma en el que el lenguaje es visto como algo más que una secuencia estadísticamente probable de palabras y el texto se genera a partir de una idea preconcebida.
Además, no se debe subestimar la dependencia actual de OpenAI (y Microsoft). Si bien creemos que inevitablemente aparecerán alternativas de código abierto a los servicios de OpenAI, debemos tener en cuenta las nuevas barreras de entrada en la era de los grandes modelos de lenguaje.
Por un lado, las iniciativas de código abierto se enfrentarán a la necesidad de más recursos computacionales para entrenar modelos con un tamaño comparable a ChatGPT y GPT-4.
Además, la falta de acceso a los comentarios humanos que OpenAI ha acumulado con el tiempo supondrá un desafío para acercarse a un rendimiento comparable.
En conclusión, tecnologías como ChatGPT y GPT-4 llegaron para quedarse.
Habrá empresas que perciban esto como una amenaza contra la que luchar y que inevitablemente se quedarán estancadas en el statu quo.
Habrá negocios que perciban esto como una oportunidad y que obtendrán una ventaja estratégica sobre sus competidores. Los primeros de los cuales ya se están mostrando.
Creemos que las empresas que:
(i) Reconocer tanto el poder como las limitaciones de los grandes modelos de lenguaje y
(ii) Incorporar estas tecnologías en su negocio principal
lograrán establecerse como líderes en el panorama digital en constante evolución.
Los dejaremos con una última cita (prometida) del CEO de Disney, Bob Iger:
Lo más arriesgado que podemos hacer es mantener el statu quo