términos del glosario
Límite de tasa
- Categoría
- AI Engineering & Protocols
- Dificultad
- Intermedio
Definición
Un mecanismo de control que restringe la cantidad de solicitudes que un usuario o cliente puede realizar a una API o servicio dentro de un período de tiempo especificado.
Cómo funciona y contexto
La limitación de tasa es un patrón arquitectónico fundamental utilizado para gestionar el flujo de tráfico y garantizar la disponibilidad de los servicios de IA. Al imponer un número máximo de solicitudes por segundo, minuto o día, los proveedores de servicios protegen su infraestructura de ser abrumada por un tráfico excesivo, ya sea intencional (ataques DDoS) o accidental (código mal optimizado). En el contexto de los Modelos de Lenguaje Grandes (LLMs), los límites de tasa son particularmente críticos porque la inferencia es computacionalmente costosa y requiere muchos recursos. Estos límites a menudo varían según el nivel de suscripción del usuario, lo que garantiza una asignación justa de recursos en una base de usuarios diversa. Cuando un cliente excede su límite asignado, el servidor generalmente devuelve un código de estado HTTP 429 'Demasiadas solicitudes', lo que indica que el cliente debe esperar antes de intentar realizar más solicitudes. Una implementación efectiva requiere equilibrar la experiencia del usuario con la confiabilidad del sistema.
Por qué es importante
Los límites de tasa son esenciales para mantener la estabilidad y la rentabilidad de los sistemas de IA. Sin ellos, un solo usuario o un script que funcione mal podría consumir todos los recursos de GPU disponibles, lo que provocaría interrupciones del servicio para todos los demás. También sirven como una herramienta principal para gestionar los costos operativos y aplicar cuotas de uso en productos comerciales de IA, asegurando que la infraestructura siga siendo eficiente y accesible bajo una carga pesada.
Ejemplo real
Un desarrollador crea una aplicación que utiliza una API de generación de imágenes por IA. Accidentalmente crean un bucle infinito en su código que envía una solicitud cada milisegundo. El límite de tasa del proveedor de la API detecta este patrón de tráfico anormal y bloquea la clave de API del desarrollador después de 100 solicitudes, evitando que la cuenta del desarrollador incurra en costos masivos y protegiendo los servidores del proveedor de fallar debido al aumento repentino en la demanda.
Errores frecuentes
- Asumir que los límites de tasa son solo para seguridad, ignorando su papel en la gestión de costos y la equidad de recursos.
- No implementar el retroceso exponencial en el código del lado del cliente, lo que conduce a solicitudes fallidas repetidas y posibles prohibiciones permanentes.
- Tratar los límites de tasa como un valor estático en lugar de una configuración dinámica que puede cambiar según la carga del servidor o el nivel del usuario.
- Ignorar el encabezado de respuesta HTTP 429, que a menudo contiene información de 'Retry-After' necesaria para una recuperación elegante.
Preguntas frecuentes
¿En qué se diferencia la limitación de tasa de la estrangulación (throttling)?
Aunque a menudo se usan indistintamente, la limitación de tasa suele ser un límite estricto en la cantidad de solicitudes permitidas en una ventana. La estrangulación es un término más amplio que puede implicar ralentizar la velocidad de procesamiento de las solicitudes en lugar de rechazarlas directamente.
¿Qué es el retroceso exponencial y por qué se usa con los límites de tasa?
El retroceso exponencial es una estrategia en la que un cliente espera períodos progresivamente más largos entre reintentos después de recibir un error de límite de tasa. Evita que el cliente 'martillee' el servidor, lo que ayuda a que el sistema se recupere más rápidamente.
¿Se pueden omitir los límites de tasa usando múltiples claves de API?
Aunque técnicamente es posible, la mayoría de los proveedores rastrean los límites de tasa por dirección IP o identidad de cuenta. Intentar eludir los límites a través de múltiples claves suele ser una violación de los términos de servicio y puede llevar a la suspensión de la cuenta.