términos del glosario
Modelo de difusión
- Categoría
- LLMs & Generative AI
- Dificultad
- Intermedio
Definición
Una clase de modelos generativos que aprenden a crear datos invirtiendo iterativamente un proceso de adición de ruido gaussiano a una muestra hasta que se recupera la distribución de datos original.
Cómo funciona y contexto
Los modelos de difusión operan a través de dos fases principales: el proceso de difusión hacia adelante y el proceso de eliminación de ruido hacia atrás. Durante el entrenamiento, el modelo añade gradualmente ruido gaussiano a una imagen de entrada hasta que se convierte en ruido puro e irreconocible. Luego, el modelo aprende a invertir este proceso, prediciendo el ruido añadido en cada paso para reconstruir los datos originales. Al aplicar iterativamente esta función de eliminación de ruido aprendida, el modelo puede generar muestras completamente nuevas y de alta fidelidad comenzando desde un vector de ruido aleatorio. A diferencia de las Redes Generativas Antagónicas (GANs), que dependen de un juego competitivo entre dos redes, los modelos de difusión son generalmente más estables de entrenar y ofrecen una mejor diversidad en sus resultados, aunque son computacionalmente más costosos durante la inferencia debido a la naturaleza iterativa del proceso de generación.
Por qué es importante
Son importantes porque proporcionan una forma robusta y escalable de sintetizar datos complejos de alta resolución que se alinean con las instrucciones de texto proporcionadas por los humanos. Su capacidad para manejar diversos estilos artísticos y texturas realistas ha transformado los flujos de trabajo creativos, permitiendo la creación rápida de prototipos y democratizando la producción visual de alta gama para diseñadores, desarrolladores e investigadores por igual.
Ejemplo real
Un diseñador gráfico utiliza una herramienta basada en difusión para generar una serie de piezas de arte conceptual para un videojuego. Al ingresar una instrucción como 'calle de ciudad cyberpunk bajo la lluvia, iluminación de neón, estilo cinematográfico', el modelo comienza con un lienzo de ruido aleatorio y lo refina iterativamente durante varios pasos. El resultado final es una imagen única de alta resolución que captura los detalles específicos de iluminación y atmósfera solicitados, que el diseñador luego utiliza como base para una edición manual posterior.
Errores frecuentes
- Confundir los modelos de difusión con las GANs; aunque ambos son generativos, sus marcos matemáticos subyacentes y la estabilidad del entrenamiento difieren significativamente.
- Asumir que los modelos de difusión están 'copiando y pegando' imágenes existentes; en realidad sintetizan nuevos datos basados en patrones aprendidos.
- Pasar por alto el costo computacional; debido a que requieren múltiples pasos iterativos para generar una sola imagen, son más lentos que los modelos de una sola pasada.
- Ignorar la importancia del programador (scheduler); la elección del algoritmo de muestreo afecta significativamente la calidad y la velocidad del resultado final.
Preguntas frecuentes
¿En qué se diferencian los modelos de difusión de los Modelos de Lenguaje Extensos (LLMs)?
Aunque ambos son generativos, los LLMs están diseñados principalmente para predecir el siguiente token en una secuencia de texto, mientras que los modelos de difusión están diseñados para mapear ruido a un espacio de datos continuo, lo que los hace más adecuados para la síntesis visual y de audio.
¿Son los modelos de difusión propensos a problemas de derechos de autor?
Sí, debido a que se entrenan con conjuntos de datos masivos de imágenes extraídas de Internet, pueden reproducir inadvertidamente estilos o elementos protegidos por derechos de autor, lo cual sigue siendo un desafío legal y ético significativo en el campo.
¿Se pueden utilizar los modelos de difusión para tareas distintas a la generación de imágenes?
Absolutamente. Se utilizan cada vez más para la generación de video, síntesis de objetos 3D, producción de audio e incluso aplicaciones científicas como la predicción de estructuras de proteínas.