términos del glosario
Token
- Categoría
- LLMs & Generative AI
- Dificultad
- Principiante
Definición
Un token es la unidad fundamental de texto que procesa un Modelo de Lenguaje Extenso (LLM), representando una secuencia de caracteres, una palabra o un fragmento de subpalabra.
Cómo funciona y contexto
En la arquitectura de los Modelos de Lenguaje Extensos modernos, el texto no se procesa como cadenas de caracteres sin procesar. En cambio, se somete a un proceso llamado tokenización, donde la entrada se convierte en una secuencia de identificadores numéricos conocidos como tokens. Un solo token puede representar una palabra común, parte de una palabra o incluso un solo carácter, dependiendo del tokenizador específico utilizado por el modelo. Por ejemplo, la palabra 'infelicidad' podría dividirse en 'in', 'felic', e 'idad'. Este enfoque de subpalabras permite a los modelos manejar palabras raras, errores ortográficos y estructuras morfológicas complejas de manera efectiva. El número total de tokens que un modelo puede procesar a la vez se define por su 'ventana de contexto', que actúa como la memoria a corto plazo del modelo. Comprender la tokenización es fundamental porque influye directamente en el rendimiento del modelo, los costos computacionales y la precisión de la generación de resultados.
Por qué es importante
Los tokens son la métrica principal tanto para el costo como para la capacidad en la IA generativa. Los precios de las API se basan casi universalmente en el número de tokens procesados, y el tamaño de la ventana de contexto de un modelo determina cuánta información puede 'recordar' durante una conversación. Los desarrolladores deben comprender los límites de tokens para evitar el truncamiento de datos y optimizar la eficiencia de sus instrucciones y aplicaciones.
Ejemplo real
Cuando envías una instrucción a una IA como ChatGPT, el sistema primero tokeniza tu entrada. Si preguntas: '¿Cuántos tokens hay en esta oración?', el modelo divide esa oración en aproximadamente 10-12 tokens. Si estuvieras construyendo una aplicación usando una API, se te cobraría según el recuento total de estos tokens tanto para tu entrada como para la respuesta generada por el modelo, lo que hace que la gestión de tokens sea esencial para el control presupuestario.
Errores frecuentes
- Asumir que un token siempre equivale a una palabra; en realidad, muchas palabras se dividen en múltiples tokens.
- Ignorar el límite de tokens de un modelo, lo que lleva a que la IA 'olvide' el comienzo de una conversación larga.
- Subestimar el costo de las instrucciones largas, ya que los tokens de entrada se facturan igual que los tokens de salida.
- Creer que la tokenización es idéntica en todos los modelos de IA; diferentes modelos utilizan diferentes vocabularios y estrategias de tokenización.
Preguntas frecuentes
¿Por qué los modelos usan tokens de subpalabras en lugar de palabras completas?
El uso de tokens de subpalabras permite al modelo manejar un vocabulario infinito. Puede construir el significado de palabras raras o nuevas combinando fragmentos de subpalabras conocidos, mientras que un sistema basado en palabras fallaría si encontrara una palabra que no está en su diccionario fijo.
¿Puedo calcular el número exacto de tokens en mi texto?
Sí, la mayoría de los proveedores de modelos ofrecen herramientas o bibliotecas de 'tokenizador' que te permiten ingresar texto y ver exactamente cómo se dividirá en tokens según el vocabulario de ese modelo específico.
¿El número de tokens afecta la velocidad de la respuesta de la IA?
Sí, porque los LLM generan texto un token a la vez. Una respuesta más larga requiere más pasos de generación secuencial, lo que aumenta el tiempo total necesario para completar la salida.