NVIDIA AIPerf: أداة جديدة لقياس استدلال LLM

يُقدَّم NVIDIA AIPerf كخليفة لـ GenAI‑Perf، تم إعادة بنائه بهندسة متعددة العمليات لتجنب عنق الزجاجة على جانب العميل الذي تُلاحظه الأدوات ذات العملية الواحدة. يدعم الأداة أكثر من 15 نوعًا من نقاط النهاية — بما في ذلك الدردشة، ترتيب الاستجابات، وتوليد الصور — ويمكنه استيعاب مجموعات بيانات عامة مثل ShareGPT وتنسيقات إعادة تشغيل الأثر من Mooncake وBaseten وWEKA AgentX.

يتيح AIPerf للمهندسين تشكيل حركة المرور بأنماط وصول قابلة للتكوين — ثابتة، بواسون، وتوزيعات غاما — مع إمكانية ضبط الانفجارية، مما يمكّن من اختبارات تحاكي خصائص طلبات الإنتاج. يُبلغ عن مقاييس الكمون والمرور الأساسية (TTFT، ITL، زمن استجابة الطلب، مرور الرموز الناتجة) مع تفصيل النسب المئوية، وعند توفر DCGM أو pynvml، يضيف بيانات طاقة GPU، الاستخدام، وقياسات الذاكرة. تُصدر النتائج إلى وحدة التحكم وتُحفظ كملفات CSV وJSON.

للممارسين في مجال الذكاء الاصطناعي، يوفّر AIPerf عميل تحميل سهل التكوين يمكنه إشباع الخادم دون أن يصبح العامل المحدد، موفرًا بيانات موثوقة لتخطيط السعة وضبط أداء نشر نماذج اللغة الكبيرة.