Stemming y lematización en el procesamiento del lenguaje natural

Una guía práctica para la derivación y la lematización en el procesamiento del lenguaje natural con la implementación de Python

En un flujo de trabajo típico de un proyecto de PNL, estas son las etapas involucradas:

Comprensión empresarial: En este paso tratamos de abordar la pregunta “Qué necesita el negocio”. Aquí tratamos de definir el enunciado del problema e identificar los objetivos comerciales que estamos tratando de lograr.

Comprensión de datos: En este paso tratamos de abordar la pregunta “¿Qué datos necesitamos?” para lograr los objetivos del negocio. ¿Están limpios los datos disponibles? ¿Hay algún problema? ¿Necesitamos más datos? En caso afirmativo, recopile los datos relevantes de diferentes fuentes.

Limpieza de datos: En este paso, los datos se sanean y limpian para ajustar o eliminar caracteres especiales, símbolos, errores ortográficos, puntuaciones, normalización, palabras vacías y palabras de baja frecuencia.

Preprocesamiento de datos: En este paso, los datos se preprocesan para prepararlos para diversas tareas de NLP. Esto implica tareas como tokenizaciónderivación, lematización, etiquetado POS y NER. (Enfoque de este blog)

Extracción de características: En este paso, se extraen características significativas de los datos preprocesados ​​para que la complejidad se pueda reducir antes de aplicar los modelos NLP. Esto implica tareas como bolsas de palabras, incrustaciones de palabras u otras técnicas avanzadas de extracción de características.

Capacitación y evaluación de modelos: En este paso, se aplican varios algoritmos NLP en los datos preprocesados ​​y luego se evalúan utilizando métricas de rendimiento como exactitud, precisión, recuperación y puntaje F1.

Implementación del modelo: Después de entrenar y evaluar el modelo NLP, el paso final es implementar el modelo en el servidor o integrarlo con el software.

En el último post hemos visto cómo limpiar los datos de texto (el enlace es aquí) y cómo puede tokenizar los datos de texto (el enlace es aquí).

En este artículo entenderemos

Stemming y Lematización en la etapa de Preprocesamiento de Datos

Por qué es importante y cuáles son los pasos involucrados en él

Código Python para implementarlo

Comencemos entonces

¿Qué es Stemming?

La derivación es el proceso de reducir una palabra a su forma base o raíz, llamada raíz, eliminando cualquier afijo o sufijo. La raíz resultante puede no ser una palabra válida, pero representa el significado base de la palabra.

Por ejemplo, la raíz de las palabras «running», «runner» y «runs» es «run».

¿Qué es la Lematización?

La lematización es un proceso similar a la lematización, pero implica convertir una palabra a su forma base, llamada lema, utilizando un análisis de diccionario.

Por ejemplo, el lema de las palabras “running”, “runner” y “runs” es “run”.

¿Cuál es la diferencia entre los dos?

Si bien ambas técnicas tienen como objetivo reducir una palabra a su forma base o raíz, existen algunas diferencias importantes entre ellas.

Producción: La lematización produce una forma raíz de una palabra que puede no ser una palabra real, mientras que la lematización produce una palabra válida que es la forma base de la palabra original.

Algoritmo: Los algoritmos de lematización suelen utilizar reglas heurísticas para eliminar los sufijos de las palabras para obtener la raíz, mientras que los algoritmos de lematización suelen utilizar un diccionario o un análisis morfológico para convertir la palabra a su forma base.

Exactitud: La lematización generalmente es más precisa que la derivación, ya que produce una palabra válida que representa el significado base de la palabra original.

Velocidad: La lematización es generalmente más rápida que la lematización, ya que implica aplicar un conjunto de reglas heurísticas a la palabra, mientras que la lematización implica la búsqueda en el diccionario o el análisis morfológico, que puede ser más lento y computacionalmente más costoso.

En resumen, la lematización es más precisa pero más lenta, mientras que la lematización es más rápida pero menos precisa.

¿Por qué es importante en las tareas de PNL?

Para reducir la dimensionalidad de los datos de texto de entrada: La derivación y la lematización ayudan a reducir el tamaño del vocabulario al convertir múltiples formas de una palabra en una sola forma. Por ejemplo, la derivación puede convertir «caminar», «caminó» y «camina» en la misma raíz «caminar», mientras que la lematización puede convertir «correr», «correr» y «corre» en la forma básica «correr». Esto ayuda a reducir la dimensionalidad de los datos de texto y facilita su análisis.

Ayuda a mejorar la precisión del modelo NLP: La derivación y la lematización pueden mejorar la precisión de las tareas de PNL al garantizar que las diferentes formas de la misma palabra se traten como la misma palabra. Por ejemplo, si la palabra «caminar» aparece varias veces en un texto, la derivación o la lematización pueden garantizar que todas las instancias de la palabra se traten de la misma manera, lo que puede mejorar la precisión de la clasificación del texto o el análisis de opiniones.

Procesamiento más rápido de tareas de PNL: Al reducir la cantidad de palabras únicas en un texto, la derivación y la lematización pueden ayudar a acelerar el procesamiento y reducir los recursos computacionales necesarios para las tareas de NLP.

Normalización del lenguaje: La derivación y la lematización pueden ayudar a normalizar el idioma al convertir las palabras a su forma base o raíz, lo que puede mejorar la precisión de los modelos de aprendizaje automático y otras técnicas de NLP (como TF-IDF) que se basan en la frecuencia de palabras o patrones de concurrencia.

Implementación de código Python para Stemming

# Stemming (using PorterStemmer)
from nltk.stem import PorterStemmer
# create an instance of the PorterStemmer
stemmer = PorterStemmer()
# example words to stem
words = ['playing', 'played', 'plays', 'playful']
# stem the words using the PorterStemmer
stemmed_words = [stemmer.stem(word) for word in words]
# print the original words and the stemmed words
print('Original Words: ', words)
print('Stemmed Words: ', stemmed_words)
Output:
Original Words:  ['playing', 'played', 'plays', 'playful']
Stemmed Words:  ['play', 'play', 'play', 'play']

Implementación de código Python para lematización

# Lemmatization (using textblob)
from textblob import Word
# example sentence to lemmatize
sentence = "The cats were playing with each other and having fun."
# tokenize the sentence
words = sentence.split()
# lemmatize the words using the TextBlob lemmatizer
lemmatized_words = [Word(word).lemmatize('v') for word in words]
# print the original sentence and the lemmatized words
print('Original Sentence: ', sentence)
print('Lemmatized Words: ', lemmatized_words)
Output:
Original Sentence:  The cats were playing with each other and having fun.
Lemmatized Words:  ['The', 'cat', 'be', 'play', 'with', 'each', 'other', 'and', 'have', 'fun.']

Enlace de GitHub para la implementación del código python

¿Qué es Stemming?

¿Qué es la Lematización?

¿Por qué es importante en el preprocesamiento de datos NLP?

Implementación de código Python para todo lo anterior

En la próxima publicación, veremos cómo se realiza el etiquetado de POS en el preprocesamiento de datos con algún código python relevante.