NVIDIA AIPerf: Nueva herramienta de benchmarking de inferencia LLM

NVIDIA AIPerf se presenta como el sucesor de GenAI‑Perf, reconstruido con una arquitectura multiproceso que evita el cuello de botella del lado del cliente observado en herramientas de proceso único. La herramienta admite más de 15 tipos de endpoint, incluidos chat, clasificación de respuestas y generación de imágenes, y puede ingerir conjuntos de datos públicos como ShareGPT y formatos de reproducción de trazas de Mooncake, Baseten y WEKA AgentX.

AIPerf permite a los ingenieros modelar el tráfico con patrones de llegada configurables —constante, Poisson y distribuciones gamma— con burstiness ajustable, lo que posibilita pruebas que reflejan las características de las solicitudes en producción. Informa métricas clave de latencia y rendimiento (TTFT, ITL, latencia de solicitud, rendimiento de tokens de salida) con desgloses percentiles y, cuando DCGM o pynvml están disponibles, añade telemetría de potencia, utilización y memoria de GPU. Los resultados se emiten a la consola y se guardan como archivos CSV y JSON.

Para los profesionales de IA, AIPerf ofrece un cliente de carga de configuración rápida que puede saturar un servidor sin convertirse en el factor limitante, proporcionando datos fiables para la planificación de capacidad y la afinación del rendimiento de despliegues de LLM.