NVIDIA AIPerf: Új LLM inferencia benchmark eszköz
A NVIDIA kiadta az AIPerf-et, egy többfolyamatos benchmark klienset, amely helyettesíti a GenAI‑Perf-et, és szélesebb munkaterhelés‑támogatást valamint részletes metrikákat biztosít.
Az eredeti forrás közzétételi dátuma: 2026. szeptember 18.
A NVIDIA AIPerf a GenAI‑Perf utódjaként jelenik meg, többfolyamatos architektúrával újraépítve, amely elkerüli az egyfolyamatos eszközökben tapasztalható kliensoldali szűk keresztmetszetet. Az eszköz több mint 15 végponttípust támogat – köztük csevegést, válasz rangsorolást és képgenerálást – és képes nyilvános adatkészleteket, például a ShareGPT‑t és a Mooncake, Baseten, valamint a WEKA AgentX trace‑replay formátumait beolvasni.
Az AIPerf lehetővé teszi a mérnökök számára a forgalom alakítását konfigurálható érkezési mintákkal – állandó, Poisson‑ és gamma‑eloszlások – állítható burst‑jellel, így olyan teszteket végezhetnek, amelyek tükrözik a termelési kérések jellemzőit. Jelentéseket készít a fő késleltetési és áteresztőképességi metrikákról (TTFT, ITL, kérés késleltetés, kimeneti token áteresztőképesség) percentilis bontással, és ha a DCGM vagy a pynvml elérhető, GPU teljesítmény‑, kihasználtság‑ és memória‑telemetriát is hozzáad. Az eredményeket a konzolra írja ki, valamint CSV és JSON fájlokként menti.
Az AI szakemberek számára az AIPerf egy gyorsan konfigurálható terhelésklienset kínál, amely képes egy szervert telítettségig terhelni anélkül, hogy maga a szűk keresztmetszet lenne, megbízható adatokat biztosítva a kapacitástervezéshez és az LLM telepítések teljesítményhangolásához.