¿Cómo encontrar valores atípicos en un conjunto de datos?

¿Qué es atípico?

Los valores atípicos son valores en los extremos de un conjunto de datos. Es una observación que se encuentra a una distancia anormal de otros valores en una muestra aleatoria de una población.

¿Cómo identificar los valores atípicos?

Existen múltiples formas de identificar los valores atípicos, pocas de ellas son

1. Percentiles:

El porcentaje de valores en un conjunto de puntajes de datos que caen por debajo de un valor dado.

• Predeterminamos el percentil, y cualquier valor que quede fuera del percentil dado se considera atípico.
• Por regla empírica: 68–95–99.7
• Si 3SD es el umbral, los puntos de datos que están lejos del percentil 99,7 y menos del percentil 0,3 se consideran atípicos.
• Cálculo del percentil:

• value es el índice en el conjunto de datos.

2. Cuartiles

Resumen de cinco números para eliminar valores atípicos:

¿Por qué las GPU y NVIDIA son las potencias de la IA?

• Mínimo
• Primer cuartil (q1)
• Mediana
• Tercer cuartil (Q3)
• Máximo

Cerca inferior: todo lo que está debajo es un valor atípico = Q1–1.5 (IQR)

Valla más alta: cualquier valor superior es atípico = Q3 + 1,5 (IQR)

IQR = rango intercuartílico = Q3 — Q1

Q1 = percentil(n+1)/ 100 es decir, 25(n+1)/100

Koala: un modelo de diálogo para la investigación académica

Q3 = 75(n+1)/100

Ejemplo:

por lo tanto, en el ejemplo anterior, todo lo que esté por debajo de -8,5 y todo lo que esté por encima de 23,5 se considera atípico.

Por lo tanto, está claro que -10 y 50 son valores atípicos en los datos.

Pipelines para inferencias performativas con Hugging Face 🤗

3. Diagrama de caja

Nos brinda una representación visual de los datos, deja en claro la identificación de los valores atípicos.

Los valores por debajo del mínimo, por encima del máximo son valores atípicos.