“Susurro: liberando el potencial de la PNL para empoderar a los lectores”

En esta publicación técnica, nos adentramos en el apasionante mundo de Whisper, un proyecto llevado a cabo por New Nexus Team. Nuestro objetivo era aprovechar las técnicas de PNL y el desarrollo de modelos para mejorar varias tareas, como el resumen abstracto, el análisis de sentimientos y los sistemas de recomendación. Únase a nosotros mientras exploramos las etapas clave de nuestro proyecto, desde el ajuste previo hasta la implementación, y destaque las metodologías y los resultados de cada tarea.

1.Modelo: Resumen Abstractivo con T5

Inicialmente, intentamos un ajuste previo en la tarea de detección de intenciones, pero la relación lógica entre las tareas no produjo mejoras significativas. Por lo tanto, cambiamos nuestro enfoque para preajustar el modelo en la tarea NER (Reconocimiento de entidad con nombre).

Para optimizar el tamaño del modelo, experimentamos con técnicas de cuantificación. Sin embargo, dado que ya estábamos usando el modelo base T5, el tamaño se mantuvo sin cambios.

Cómo aprender SQL en 2023: una guía completa para principiantes

Además, exploramos técnicas de poda, pero la falta de orientación dificultó el resultado deseado.

En el futuro, ajustamos nuestro modelo en un conjunto de datos completo que consta de noticias y artículos, con el objetivo de mejorar su rendimiento en el resumen abstracto.

Exploramos el ajuste de instrucciones a través de la especificación de tareas e intentamos la ingeniería rápida extrayendo palabras clave y agregándolas al final del texto. Sin embargo, este enfoque no produjo los resultados deseados.

Evaluación: ROUGE Métricas e integración de aplicaciones móviles

¡Lo último en IA: AutoGPT, Wonder Dynamics y más!

Para evaluar la efectividad de nuestro modelo de resumen abstracto, utilizamos ROUGE (suplente orientado a la recuperación para la evaluación de información general), un conjunto de métricas comúnmente utilizadas en la evaluación de resumen de texto.

Como parte de nuestra estrategia más amplia, integramos la funcionalidad de resumen abstracto en una aplicación móvil, haciéndola accesible y conveniente para los usuarios.

Al aprovechar el poder de T5 y explorar técnicas como el ajuste previo, la cuantificación, la poda y la ingeniería rápida, buscamos mejorar las capacidades de resumen abstracto de nuestro modelo. La integración de esta función en una aplicación móvil mejoró aún más su accesibilidad y facilidad de uso para los usuarios.

2. Modelo: Análisis de sentimiento con base BERT
Para nuestra tarea de análisis de sentimientos, empleamos el modelo base BERT y lo entrenamos en un conjunto de datos que consiste en comentarios y tweets, con un total de 21,983 líneas.
Para optimizar el tamaño del modelo, aplicamos con éxito técnicas de cuantificación, que dieron como resultado un rendimiento similar al tiempo que reducíamos la huella de memoria del modelo.
También intentamos técnicas de poda, pero las encontramos ineficaces para nuestra tarea específica.
El modelo de análisis de sentimientos se entrenó para clasificar el texto en tres clases, que representan sentimientos positivos, negativos y neutrales.
Para evaluar el rendimiento del modelo, utilizamos métricas como la precisión, la matriz de confusión, el recuerdo, la puntuación F1 y la precisión.
Como parte de nuestra estrategia, integramos la funcionalidad de análisis de opiniones en una aplicación móvil, proporcionando a los usuarios un análisis de opiniones de texto en tiempo real.
Al utilizar la base BERT y emplear técnicas como la cuantificación, desarrollamos con éxito un modelo de análisis de sentimientos. La integración de este modelo en una aplicación móvil permite a los usuarios obtener información sobre el sentimiento expresado en comentarios y tweets, mejorando su comprensión del sentimiento público y facilitando la toma de decisiones informada.

Cree un ChatGPT con sus datos privados usando LlamaIndex y MongoDB

3. Modelo: Clasificación de texto con base DistilBERT
En nuestro tercer modelo, utilizamos la arquitectura basada en DistilBERT para la clasificación de texto.
El modelo se entrenó en un gran conjunto de datos de artículos, que comprende 287.113 líneas de texto.
La tarea principal de este modelo fue el reconocimiento de entidades nombradas (NER), que implicó identificar y clasificar entidades nombradas dentro del texto.
Para evaluar el rendimiento del modelo, utilizamos métricas como la precisión, la matriz de confusión, el recuerdo, la puntuación F1 y la precisión.
Como parte de nuestra estrategia, integramos la funcionalidad de clasificación de texto en una aplicación móvil, lo que permite a los usuarios clasificar el texto en tiempo real.
Al aprovechar el poder de DistilBERT-base y entrenarlo en un vasto conjunto de datos de artículos, desarrollamos un modelo de clasificación de texto capaz de identificar y categorizar con precisión las entidades nombradas. La integración de este modelo en una aplicación móvil mejora su accesibilidad y usabilidad, lo que permite a los usuarios realizar tareas de clasificación de texto de forma cómoda y eficiente.

En nuestra búsqueda por aprovechar el poder del procesamiento del lenguaje natural (PLN), experimentamos con varios modelos y técnicas. Después de una cuidadosa evaluación, identificamos tres modelos destacados: resumen abstracto con T5, análisis de sentimiento con base BERT y clasificación de texto con base DistilBERT. Estos modelos demostraron ser los más efectivos para generar resúmenes, analizar opiniones y clasificar texto en función de entidades nombradas.

A pesar de encontrar desafíos e intentos fallidos con otros modelos, integramos estos tres modelos en una aplicación móvil para brindarles a los usuarios un acceso sin problemas a las capacidades de NLP. Nuestro enfoque en la integración de varias API y tecnologías garantiza una experiencia de usuario integral.

En conclusión, el proyecto Whisper representa nuestro compromiso de ampliar los límites de la PNL, ofreciendo a los usuarios una experiencia transformadora en la comprensión e interacción con el lenguaje.

Todo sobre la Memoria a Corto Plazo Largo