términos del glosario
Ajuste fino supervisado (SFT)
- Categoría
- Training, Adaptation & Inference
- Dificultad
- Intermedio
Definición
Un proceso de aprendizaje automático donde un modelo preentrenado se entrena aún más en un conjunto de datos curado y etiquetado para especializar su rendimiento en tareas o dominios específicos.
Cómo funciona y contexto
El ajuste fino supervisado (SFT) sirve como puente entre el conocimiento amplio y general de un modelo base y los requisitos específicos de una aplicación de producción. Durante esta fase, el modelo se expone a un conjunto de datos que consiste en ejemplos explícitos (como instrucciones emparejadas con las respuestas deseadas), lo que le permite ajustar sus pesos internos para alinearse mejor con la tarea objetivo. A diferencia del preentrenamiento, que requiere enormes recursos computacionales y grandes cantidades de datos sin procesar, el SFT es computacionalmente eficiente y se basa en datos de alta calidad curados por humanos. Este proceso es esencial para enseñar a los modelos a seguir formatos específicos, adoptar un tono particular o cumplir con restricciones específicas del dominio. Sin embargo, el SFT conlleva el riesgo de 'olvido catastrófico', donde el modelo pierde algunas de sus capacidades generales mientras se centra en la nueva tarea limitada, lo que requiere un equilibrio cuidadoso entre la especialización y la utilidad general.
Por qué es importante
El SFT es el mecanismo principal para transformar modelos base sin procesar en asistentes de IA funcionales y fiables. Sin él, los modelos a menudo tienen dificultades para seguir instrucciones o mantener formatos de salida consistentes. Al utilizar SFT, los desarrolladores pueden garantizar que una IA se comporte de manera predecible, cumpla con las directrices de seguridad y proporcione respuestas de alta calidad adaptadas a las necesidades específicas de una organización o base de usuarios, lo que aumenta significativamente la utilidad del modelo en entornos de software del mundo real.
Ejemplo real
Una empresa de atención médica quiere crear un asistente de IA para resumir registros de pacientes. Comienzan con un LLM de propósito general, pero descubren que carece de la terminología médica y el formato clínico necesarios. Al realizar SFT en un conjunto de datos de 5,000 resúmenes de pacientes anonimizados y revisados por expertos, el modelo aprende a extraer datos clínicos relevantes con precisión y a formatearlos de acuerdo con los estándares hospitalarios, lo que resulta en una herramienta especializada que es mucho más eficaz que el modelo base.
Errores frecuentes
- Uso de datos de baja calidad o ruidosos, lo que puede degradar el rendimiento del modelo en lugar de mejorarlo.
- Sobreajuste (overfitting) del modelo al conjunto de entrenamiento, lo que hace que pierda su capacidad de generalizar a entradas nuevas y no vistas.
- Asumir que el SFT puede solucionar fallos fundamentales en las capacidades de razonamiento del modelo base.
- Descuidar la evaluación del modelo en un conjunto de prueba reservado, lo que lleva a una evaluación inexacta de su rendimiento en el mundo real.
Preguntas frecuentes
¿En qué se diferencia el SFT del aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF)?
El SFT utiliza ejemplos directos de entrada-salida para enseñar al modelo comportamientos específicos, mientras que el RLHF utiliza un modelo de recompensa basado en las preferencias humanas para guiar al modelo hacia respuestas más deseables y matizadas.
¿Se puede utilizar el SFT para añadir nuevos conocimientos a un modelo?
Aunque el SFT puede ayudar a un modelo a aprender a utilizar nueva terminología o formatos, generalmente es ineficaz para enseñar a un modelo conocimientos fácticos completamente nuevos; la generación aumentada por recuperación (RAG) suele ser preferible para ese propósito.
¿Cuántos datos se requieren normalmente para un SFT eficaz?
La cantidad varía significativamente según la complejidad de la tarea, pero el SFT de alta calidad a menudo produce mejoras significativas con tan solo 500 a 5,000 ejemplos cuidadosamente seleccionados.