términos del glosario
Precisión
- Categoría
- Evaluation, Safety & Governance
- Dificultad
- Principiante
Definición
En aprendizaje automático, la precisión es una métrica de rendimiento definida como la relación entre las observaciones predichas correctamente y el número total de observaciones en un conjunto de datos.
Cómo funciona y contexto
La precisión es la métrica más directa para evaluar modelos de clasificación, calculada dividiendo el número de predicciones correctas (verdaderos positivos y verdaderos negativos) por el número total de predicciones. A pesar de su simplicidad, la precisión es frecuentemente insuficiente para sistemas de IA del mundo real. Una limitación principal es su incapacidad para tener en cuenta el desequilibrio de clases; por ejemplo, en un modelo de diagnóstico médico donde el 99% de los pacientes están sanos, un modelo que predice 'sano' para todos logrará un 99% de precisión mientras falla al identificar a cualquier paciente enfermo. En consecuencia, los profesionales a menudo complementan la precisión con la precisión (precision), la exhaustividad (recall) y la puntuación F1 para obtener una comprensión más matizada del comportamiento del modelo. Además, la precisión trata todos los errores como igualmente significativos, lo cual rara vez es el caso en aplicaciones críticas para la seguridad como la conducción autónoma o la detección de fraude financiero, donde un falso negativo puede ser mucho más costoso que un falso positivo.
Por qué es importante
La precisión proporciona una instantánea rápida y de alto nivel del rendimiento del modelo, lo que la convierte en una línea base útil para las pruebas iniciales. Sin embargo, confiar únicamente en la precisión puede llevar a una peligrosa confianza excesiva en los sistemas de IA. Comprender sus limitaciones es fundamental para que los desarrolladores y las partes interesadas garanticen que los modelos no solo sean 'correctos' en promedio, sino fiables en los casos extremos, a menudo raros, que definen la seguridad y la utilidad en el mundo real.
Ejemplo real
Considera un filtro de spam entrenado en un conjunto de datos donde el 95% de los correos electrónicos son legítimos y el 5% son spam. Si el modelo está mal entrenado y simplemente etiqueta cada correo electrónico entrante como 'no spam', logrará un 95% de precisión. Aunque este número suena alto, el modelo es inútil porque no logra detectar ningún spam, lo que demuestra por qué la precisión por sí sola es un indicador deficiente del rendimiento en conjuntos de datos desequilibrados.
Errores frecuentes
- Asumir que una alta precisión implica que el modelo es seguro o fiable para todos los casos de uso.
- Usar la precisión como la métrica principal para conjuntos de datos con un desequilibrio de clases significativo.
- Ignorar el costo de diferentes tipos de errores (falsos positivos frente a falsos negativos) al centrarse solo en la puntuación de precisión agregada.
- No validar la precisión en diferentes subconjuntos o segmentos de datos.
Preguntas frecuentes
¿Cuándo debería evitar usar la precisión como métrica?
Deberías evitar la precisión siempre que tu conjunto de datos esté desequilibrado, lo que significa que una clase aparece con mucha más frecuencia que otras, o cuando el costo de diferentes tipos de errores no es igual.
¿Cómo puedo mejorar mi modelo si la precisión es alta pero el rendimiento es pobre?
Deberías cambiar a métricas más granulares como la precisión (precision), la exhaustividad (recall) o la puntuación F1, y realizar un análisis de errores para identificar qué clases o escenarios específicos el modelo no está logrando predecir correctamente.
¿Es la precisión lo mismo que la exactitud (precision)?
No. La precisión (accuracy) mide la proporción de predicciones correctas totales, mientras que la exactitud (precision) mide la proporción de predicciones positivas que fueron realmente correctas.