términos del glosario
Conjunto de datos (Dataset)
- Categoría
- AI & Machine Learning Fundamentals
- Dificultad
- Principiante
Definición
Una colección estructurada de puntos de datos, normalmente organizada en filas y columnas o formatos jerárquicos, utilizada para entrenar, validar o probar modelos de aprendizaje automático.
Cómo funciona y contexto
En el contexto de la inteligencia artificial, un conjunto de datos es el bloque de construcción fundamental del desarrollo de modelos. Consiste en entradas sin procesar (como texto, imágenes, audio o valores numéricos) que han sido recopiladas y, a menudo, preprocesadas para una tarea específica. Los conjuntos de datos suelen dividirse en tres subconjuntos: datos de entrenamiento (para enseñar al modelo), datos de validación (para ajustar hiperparámetros) y datos de prueba (para evaluar el rendimiento final). La calidad, diversidad y tamaño de un conjunto de datos dictan directamente las capacidades y limitaciones de la IA resultante. Un desafío importante en la IA moderna es garantizar que los conjuntos de datos sean representativos y estén libres de sesgos dañinos, ya que los modelos reflejarán inevitablemente los patrones encontrados en sus datos de entrenamiento. Además, los conjuntos de datos deben limpiarse y formatearse cuidadosamente para garantizar que el modelo aprenda señales significativas en lugar de ruido.
Por qué es importante
Los conjuntos de datos son el 'combustible' de los sistemas de IA. Sin datos relevantes y de alta calidad, incluso la arquitectura de red neuronal más avanzada no producirá resultados útiles. Comprender los conjuntos de datos es crucial para los desarrolladores e investigadores porque cambia el enfoque de simplemente elegir un algoritmo a curar la información que define el comportamiento, la equidad y la precisión de la IA en aplicaciones del mundo real.
Ejemplo real
Considera una empresa que construye una IA para detectar transacciones fraudulentas con tarjetas de crédito. Su conjunto de datos incluiría millones de registros de transacciones históricas, cada uno etiquetado como 'legítimo' o 'fraudulento'. El modelo analiza características como el monto de la transacción, la ubicación y la hora del día dentro de este conjunto de datos para aprender los patrones sutiles que distinguen una compra normal de una maliciosa, aplicando finalmente este conocimiento a las transacciones entrantes en tiempo real.
Errores frecuentes
- Asumir que 'más datos siempre es mejor' sin considerar la calidad o relevancia de los mismos.
- No tener en cuenta la fuga de datos, donde la información del conjunto de prueba influye accidentalmente en el proceso de entrenamiento.
- Ignorar los sesgos demográficos o históricos presentes en los datos, lo que conduce a un comportamiento discriminatorio de la IA.
- Descuidar la limpieza o normalización adecuada de los datos, lo que hace que el modelo tenga dificultades con formatos inconsistentes o valores atípicos.
Preguntas frecuentes
¿En qué se diferencia un conjunto de datos de una base de datos?
Una base de datos es un sistema de propósito general para almacenar y gestionar información estructurada para aplicaciones. Un conjunto de datos es una instantánea o subconjunto específico de datos extraídos de una base de datos (u otras fuentes) que se ha preparado específicamente para el propósito de entrenar o evaluar un modelo de IA.
¿Cuál es la diferencia entre datos etiquetados y no etiquetados?
Los datos etiquetados incluyen respuestas de 'verdad fundamental' (por ejemplo, una imagen de un gato con una etiqueta que dice 'gato'), lo cual es necesario para el aprendizaje supervisado. Los datos no etiquetados carecen de estas etiquetas y se utilizan normalmente en el aprendizaje no supervisado para encontrar estructuras ocultas o en el aprendizaje autogestionado para el pre-entrenamiento.
¿Por qué es necesaria la limpieza de datos antes del entrenamiento?
Los datos sin procesar a menudo contienen errores, duplicados, valores faltantes o ruido irrelevante. Si estos datos 'sucios' se introducen en un modelo, pueden provocar un bajo rendimiento, predicciones incorrectas o el refuerzo de patrones negativos, un fenómeno a menudo denominado 'basura entra, basura sale'.