términos del glosario
Ventana de contexto
- Categoría
- LLMs & Generative AI
- Dificultad
- Intermedio
Definición
La ventana de contexto es el número máximo de tokens (que representan palabras o unidades sub-palabra) que un modelo de lenguaje grande puede procesar y considerar simultáneamente durante una sola pasada de inferencia.
Cómo funciona y contexto
La ventana de contexto actúa como el límite operativo para la entrada y salida de un LLM. Cuando proporcionas un prompt, el modelo convierte ese texto en tokens. La ventana de contexto incluye tanto tu entrada (el prompt) como la respuesta generada por el modelo. Una vez que el recuento total de tokens supera el límite predefinido del modelo, este debe 'olvidar' las partes más antiguas de la conversación o del documento para dejar espacio a nuevos datos. Esto suele gestionarse mediante técnicas de ventana deslizante o truncamiento. Los modelos modernos han ampliado significativamente estas ventanas, pasando de unos pocos miles de tokens a millones. Sin embargo, una ventana más grande no siempre garantiza una recuperación perfecta; los modelos pueden sufrir el fenómeno de 'pérdida en el medio', donde les cuesta recuperar información enterrada en el centro de un documento masivo en comparación con la información al principio o al final.
Por qué es importante
La ventana de contexto determina la capacidad del modelo para manejar tareas complejas como resumir libros enteros, analizar bases de código masivas o mantener la coherencia en conversaciones largas. Una ventana más grande permite un 'aprendizaje en contexto' más completo, donde el modelo puede hacer referencia a documentación extensa o al historial del usuario sin necesidad de ajuste fino. Comprender este límite es crucial para los desarrolladores que crean sistemas RAG (Generación Aumentada por Recuperación), ya que dicta cuánto material de origen se puede introducir en el modelo a la vez.
Ejemplo real
Imagina un bufete de abogados que utiliza una IA para analizar un contrato de 500 páginas. Si el contrato contiene 150.000 tokens y el modelo de IA tiene una ventana de contexto de 128.000 tokens, el modelo no puede procesar todo el documento de una sola vez. El usuario debe dividir el documento en fragmentos más pequeños o utilizar un sistema de recuperación para introducir solo las secciones más relevantes en la ventana; de lo contrario, el modelo truncará el principio del contrato y omitirá cláusulas críticas.
Errores frecuentes
- Asumir que una ventana de contexto más grande implica que el modelo recordará perfectamente cada detalle dentro de esa ventana.
- Confundir la ventana de contexto con la memoria a largo plazo o los datos de entrenamiento del modelo; la ventana de contexto es temporal y se restablece en cada sesión.
- Ignorar que la ventana de contexto incluye la salida del modelo, lo que significa que un prompt muy largo deja menos espacio para la respuesta de la IA.
- Creer que aumentar el tamaño de la ventana de contexto no tiene impacto en la latencia o el costo computacional.
Preguntas frecuentes
¿Una ventana de contexto más grande hace que el modelo sea más inteligente?
No. Una ventana de contexto más grande solo aumenta la cantidad de información que el modelo puede mantener en su memoria de trabajo inmediata. No mejora las capacidades de razonamiento subyacentes ni la base de conocimientos del modelo.
¿Qué sucede cuando supero el límite de la ventana de contexto?
Normalmente, el modelo arrojará un error, truncará las partes más antiguas de la conversación o dejará de generar texto. El comportamiento específico depende de la implementación de la API o la interfaz que estés utilizando.
¿Cómo se relacionan los tokens con las palabras en una ventana de contexto?
Los tokens no son exactamente palabras. En inglés, un token equivale aproximadamente a 0,75 palabras. Una ventana de contexto de 100.000 tokens puede contener aproximadamente 75.000 palabras, aunque esto varía según el idioma y el método de tokenización específico utilizado por el modelo.