ChatGPT y GPT-4: ¿Trucos o cambios de juego?

Una obra de arte de ChatGPT, creada por Stable Diffusion

El dominio de la inteligencia artificial ha sido sinónimo de crecimiento exponencial durante los últimos 10 años.
Para que una innovación se destaque en este campo, donde la disrupción es lo habitual, debe ser espectacular. Y espectacular es exactamente cómo podemos describir el progreso reciente en la comprensión y generación de idiomas a través de innovaciones como ChatGPT y GPT-4.

Fuente: Nuestro mundo en datos

Todo esto es impresionante, pero plantea una simple pregunta: ¿Qué hay para ti?

En lo que sigue, intentaremos responder exactamente a esta pregunta discutiendo el potencial disruptivo de estas tecnologías. También exploraremos las limitaciones de estos modelos y nos centraremos en cómo podemos superar estos desafíos. Porque después de todo:

También te puede interesarPrincipales tendencias en inteligencia artificial y aprendizaje automático para 2023

“El pesimista ve dificultad en cada oportunidad.
El optimista ve oportunidades en cada dificultad”

ChatGPT y GPT-4 han conquistado el mundo del procesamiento del lenguaje natural. Los entusiastas ven el amanecer de la IA a nivel humano, los investigadores no ven nada especial y los escépticos ven una razón para comenzar a acumular papel higiénico.

Antes de explorar cómo podemos aprovechar estos avances para obtener una ventaja estratégica, consideremos por qué estamos viendo este progreso en primer lugar.

Será una sorpresa para muchos que el principio de funcionamiento detrás de ChatGPT y GPT-4, llamado «transformador”, existe desde 2017.
como el “4” en GPT-4 sugiere, lo que estamos viendo ahora no es tanto un cambio radical en la forma de generar texto como la culminación de 6 años de mejoras incrementales en el mismo método.

También te puede interesarDominar la API de ChatGPT: información de la construcción de un prototipo

En palabras de Steve Jobs:

“Si miras muy de cerca, la mayoría de los éxitos de la noche a la mañana tomaron mucho tiempo”

Dicho esto, todavía surge la pregunta de ¿por qué ahora?

La respuesta a esa pregunta es triple:
👉 Más grande y mejor
👉 Incorporación de retroalimentación humana con RLHF
👉 La gente no puede comprar lo que no conoce

También te puede interesarPNL: La magia detrás de las máquinas de comprensión

Mas grande y mejor

Una verdad simple sobre la comprensión del lenguaje natural es que debe tener en cuenta una gran cantidad de matices sutiles. Si hay que creer en el recuento de parámetros de GPT-4, estamos hablando de 100 billones de estos matices.

Cuanto más grande es un modelo, más capacidad tiene para comprender matices cada vez más finos. A su vez, los recursos computacionales cada vez mayores y los datos disponibles en Internet nos permiten aprovechar esta capacidad.

Es un secreto bien conocido en IA que el mismo modelo pero más grande inevitablemente será mejor. ChatGPT y especialmente GPT-4 son mucho más grandes que sus predecesores, lo que ha mejorado significativamente su rendimiento.

Sin embargo, esta tendencia tiene sus límites. Agregar más capacidad no agregará valor una vez que hayamos alcanzado suficientes parámetros para capturar incluso los matices más finos del lenguaje humano. No hace falta decir que este límite aún no está a la vista.

También te puede interesarChatGPT Mini: ¡una CLI liviana para ChatGPT que es amigable con la billetera y centrada en la privacidad!
GPT-3 es enorme pero GPT-4 es más de 500 veces más grande

Incorporación de retroalimentación humana con RLHF

La mayor diferencia entre ChatGPT y GPT-4 y sus predecesores es que incorporan comentarios humanos. El método utilizado para esto es Aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF).

Es esencialmente un ciclo de mejora continua. El sistema genera un texto; el usuario da algún feedback implícito o explícito sobre lo que podría hacer mejor (p. ej., dar una respuesta más detallada); el sistema utiliza esta información para mejorar.

Incorporación de comentarios humanos a través de RLHF

La idea de RLHF también existe desde 2017. 2017 fue un gran año para los avances de 2023. No ha sido ampliamente utilizado hasta hace poco porque la recopilación de comentarios humanos siempre se consideró un cuello de botella en la era de los grandes datos. Después de todo, una computadora puede recorrer proporciones significativas de Internet en cuestión de días, mientras que los humanos nos distraemos después de leer la mitad de un artículo.

La única forma de aprovechar realmente RLHF a escala sería si ChatGPT y GPT-4 tuvieran una base de usuarios masiva que proporcione comentarios constantes.

Parece que ahí es donde entramos tú y yo.

La gente no puede comprar lo que no sabe.

Si bien el surgimiento de ChatGPT puede haber parecido inesperado para muchos, la comunidad de PNL ha logrado avances tremendos en los últimos años, muchos de los cuales tenían el potencial de generar un nivel similar de interés del público en general.

Hasta ahora, sin embargo, estos avances nunca fueron capaces de crear real conciencia entre el público en general. En palabras de Warren Buffett: “si no puedes comunicarte, es como guiñarle el ojo a una chica en la oscuridad: no pasa nada”.

Lo que OpenAI ha hecho de manera magistral es (i) empaquetar su tecnología en una aplicación accesible e intuitiva y (ii) difundir la conciencia masiva sobre lo que están haciendo.

En parte para aumentar la adopción de IA en casos de uso impactantes y posicionarse como líderes en el proceso.
En parte para mantener el volante RLHF girando y hacer que sus productos sean cada vez mejores.

volante RLHF

Donde los modelos de IA solían ser solucionadores de problemas específicos, ahora estamos viendo sistemas de IA amplios y versátiles que tienen habilidades que van desde la escritura creativa hasta la programación de computadoras.
Estamos pasando de muchas herramientas individuales en nuestro cinturón de herramientas de IA a unas pocas navajas suizas de IA.

Este nuevo paradigma abre una plétora de posibilidades para obtener una ventaja competitiva. Aunque el lanzamiento de ChatGPT y GPT-4 apenas se ve en el espejo retrovisor, ya podemos ver a los primeros en adoptar estas tecnologías y aprovechar su potencial disruptivo para posicionarse a la vanguardia de sus respectivas industrias.

Algunos ejemplos concretos incluyen:

  • Atención al cliente: Intercom aprovecha ChatGPT como una ayuda de escritura para que los operadores de soporte aceleren y mejoren el proceso de soporte al cliente (enlace). Pronto, lanzará su chatbot de atención al cliente Fin (enlace) basado en GPT-4, que les permitirá brindar una solución rápida y cualitativa a un problema importante que enfrentan muchas empresas.
  • Educación: Duolingo pretende revolucionar el proceso de aprendizaje de idiomas al ofrecer su nueva aplicación Duolingo Max (enlace). Aprovecha las capacidades de (múltiples) idiomas de GPT-4 para ofrecer una plataforma de aprendizaje altamente personalizada pero escalable que es el núcleo de su estrategia.
  • Tecnología: Whimsical integró el potencial creativo de los grandes modelos de lenguaje en sus mapas mentales de IA (enlace). Brindan una experiencia creativa y colaborativa a sus usuarios, lo que facilita y acelera significativamente el proceso de intercambio de ideas.
  • Mirando más allá de los casos de uso actuales, prevemos que ChatGPT y GPT-4 tendrán un gran impacto en descubrimiento del conocimiento.

    Esperamos que las empresas y los gobiernos creen una capa de preguntas y respuestas sobre sus datos internos para permitir la recuperación intuitiva del conocimiento presente en la organización.

    En particular, prevemos un impacto especialmente importante en los sectores impulsados ​​por el conocimiento, como el legal, los medios y el gobierno.

    Para ilustrar con algunos ejemplos, esto puede:

  • Permita que las firmas legales utilicen el conocimiento acumulado en sentencias y casos anteriores para tomar las decisiones más informadas en el futuro.
  • Permita que las empresas de medios permitan a sus usuarios obtener los conocimientos concretos que buscan de su cobertura de medios, creando así una experiencia de usuario más atractiva y personalizada.
  • Permita que los gobiernos conviertan su legislación de documentos archivados arcaicos en una base de conocimientos interactiva que el público en general puede consultar para mantenerse informado.
  • Para comprender completamente las limitaciones de tecnologías como ChatGPT, es importante comprender su principio de funcionamiento de alto nivel.

    Winston Churchill dijo una vez: “de intensas complejidades emergen intensas simplicidades”.
    En el caso de ChatGPT y GPT-4, argumentamos todo lo contrario: “de intensas simplicidades emergen intensas complejidades”.

    A muchos les sorprenderá que realmente cualquier sistema moderno de generación de texto funcione bajo una premisa muy simple. Todos son sistemas que predicen la siguiente palabra en una oración. Nada más y nada menos.

    Comienzan a encadenar palabras una tras otra con el objetivo de construir la secuencia de palabras estadísticamente más probable, dada la indicación original.

    En ML6, nos gusta visualizar este proceso como un paseo aleatorio de palabras.

    Un paseo aleatorio de palabras

    Esto implica que tecnologías como ChatGPT nunca razonan realmente sobre el mensaje que quieren transmitir. Esta falta de razonamiento explícito conduce a limitaciones en términos de confiabilidad, controlabilidad y ética.

    Se está haciendo un esfuerzo importante en la construcción barandillas en torno a lo que estos sistemas pueden producir para eludir este problema fundamental. Otra vía prometedora es vincular la información generada con las fuentes para permitir una verificación de hechos conveniente.

    Sin embargo, es importante tener en cuenta que tales remedios, si bien son bastante efectivos, no dejan de ser soluciones sintomáticas que apuntan a parchear una limitación fundamental.

    A largo plazo, creemos que todavía estamos a un cambio de paradigma de tener modelos de lenguaje grande fundamentalmente confiables y confiables; un paradigma en el que el lenguaje es visto como algo más que una secuencia estadísticamente probable de palabras y el texto se genera a partir de una idea preconcebida.

    Además, no se debe subestimar la dependencia actual de OpenAI (y Microsoft). Si bien creemos que inevitablemente aparecerán alternativas de código abierto a los servicios de OpenAI, debemos tener en cuenta las nuevas barreras de entrada en la era de los grandes modelos de lenguaje.
    Por un lado, las iniciativas de código abierto se enfrentarán a la necesidad de más recursos computacionales para entrenar modelos con un tamaño comparable a ChatGPT y GPT-4.
    Además, la falta de acceso a los comentarios humanos que OpenAI ha acumulado con el tiempo supondrá un desafío para acercarse a un rendimiento comparable.

    En conclusión, tecnologías como ChatGPT y GPT-4 llegaron para quedarse.

    Habrá empresas que perciban esto como una amenaza contra la que luchar y que inevitablemente se quedarán estancadas en el statu quo.

    Habrá negocios que perciban esto como una oportunidad y que obtendrán una ventaja estratégica sobre sus competidores. Los primeros de los cuales ya se están mostrando.

    Creemos que las empresas que:
    (i) Reconocer tanto el poder como las limitaciones de los grandes modelos de lenguaje y
    (ii) Incorporar estas tecnologías en su negocio principal
    lograrán establecerse como líderes en el panorama digital en constante evolución.

    Los dejaremos con una última cita (prometida) del CEO de Disney, Bob Iger:

    Lo más arriesgado que podemos hacer es mantener el statu quo

    Scroll al inicio