términos del glosario
Temperatura
- Categoría
- LLMs & Generative AI
- Dificultad
- Intermedio
Definición
Un hiperparámetro que escala los logits antes de aplicar una función softmax, controlando eficazmente la distribución de probabilidad del siguiente token en un modelo generativo.
Cómo funciona y contexto
En el contexto de los modelos de lenguaje extensos (LLM), la temperatura es un valor numérico que dicta la 'creatividad' o 'aleatoriedad' de las respuestas del modelo. Cuando un modelo predice el siguiente token, genera una lista de probabilidades para todos los candidatos posibles. El parámetro de temperatura modifica estas probabilidades antes de realizar la selección final. A una temperatura baja (cerca de 0), el modelo se vuelve determinista, eligiendo constantemente el token más probable, lo cual es ideal para tareas factuales o de programación. A una temperatura alta (superior a 1), el modelo aplana la distribución de probabilidad, haciendo que los tokens menos probables sean más probables, lo que fomenta una salida diversa, creativa o impredecible. Sin embargo, establecer una temperatura demasiado alta puede llevar a 'alucinaciones' o texto incoherente, ya que el modelo puede seleccionar tokens altamente improbables que rompen el flujo lógico de la conversación.
Por qué es importante
La temperatura es una palanca crítica para que los desarrolladores y usuarios equilibren la precisión y la creatividad. En los sistemas de IA profesionales, elegir la temperatura adecuada es esencial para el rendimiento específico de la tarea: los ajustes bajos garantizan la precisión para la extracción de datos y la documentación técnica, mientras que los ajustes más altos son necesarios para la lluvia de ideas, la escritura creativa y la variedad conversacional. Comprender este parámetro permite ajustar el comportamiento del modelo para satisfacer las necesidades específicas del usuario sin tener que reentrenar la arquitectura subyacente.
Ejemplo real
Imagina a un desarrollador creando un bot de atención al cliente. Para el módulo de 'Resolución de problemas técnicos', establece la temperatura en 0.1 para garantizar que el bot proporcione instrucciones consistentes, precisas y seguras basadas en la documentación oficial. Por el contrario, para el módulo de 'Redacción de marketing', establece la temperatura en 0.8, permitiendo que la IA genere eslóganes publicitarios más atractivos, variados y creativos que capturen la voz de la marca sin sonar repetitivos.
Errores frecuentes
- Asumir que una temperatura más alta siempre resulta en una salida más 'inteligente'.
- Descuidar el ajuste de la temperatura al cambiar entre casos de uso factuales y creativos.
- Confundir la temperatura con 'Top-P' (muestreo de núcleo), que filtra el grupo de candidatos en lugar de escalar la distribución de probabilidad.
- Establecer la temperatura en 0 en una tarea creativa, lo que lleva a un texto repetitivo y robótico.
Preguntas frecuentes
¿La temperatura afecta el conocimiento subyacente del modelo?
No. La temperatura no cambia lo que el modelo sabe; solo cambia cómo el modelo selecciona entre las probabilidades que ya ha calculado basándose en sus datos de entrenamiento.
¿Qué sucede si establezco la temperatura exactamente en 0?
A una temperatura de 0, el modelo se vuelve codicioso, seleccionando siempre el token siguiente más probable. Esto hace que la salida sea determinista, lo que significa que el mismo prompt producirá consistentemente la misma respuesta exacta.
¿Se puede usar la temperatura para corregir alucinaciones?
Reducir la temperatura puede disminuir la probabilidad de que un modelo elija tokens 'creativos' pero incorrectos, lo que puede ayudar a mitigar algunos tipos de alucinaciones, pero no puede eliminarlas por completo si al modelo le falta la información correcta.