AWS تمكّن من نشر نماذج القرار باستخدام llama.cpp على SageMaker

توضح مشاركة مدونة AWS مسارين للنشر لنماذج llama.cpp على SageMaker AI. يستخدم المسار القياسي حاوية AWS Deep Learning Container لـ llama.cpp لتوفير واجهة برمجة تطبيقات إكمال الدردشة المتوافقة مع OpenAI، بينما يبني مسار القرار‑المنظم صورة فرعية تستبدل الخادم الافتراضي بموصل SemIf، وتعيد احتمالات الخيارات بدلاً من النص المُولد. كلا المسارين يقبلان نموذج GGUF مخزن في Amazon S3 ويربطان طلب POST /invocations بالنقطة النهاية المناسبة.

في سير عمل القرار‑المنظم، تُبنى الصورة الفرعية باستخدام CodeBuild، وتحتفظ بمكتبات CPU أو CUDA المجمعة من DLC، وتُخزن في Amazon ECR. تُظهر المعايير أن نقطة النهاية GPU تعالج القرارات أسرع بـ 4.9× في المتوسط (p50) و32.2× في النسبة المئوية الـ95 مقارنةً بنقطة النهاية CPU، مع دقة مماثلة. تُدرج الدليل أيضًا المتطلبات المسبقة مثل حساب AWS، دلو S3، أدوار IAM، وأنواع مثيلات SageMaker المتوافقة.

توفر هذه التعليمات للمطورين مثالًا عمليًا على دمج نماذج تقييم القرار في الإنتاج، موضحةً كيفية موازنة الكمون، اختيار العتاد، وتكميم النموذج عند بناء أنظمة توجيه أو سياسات مدفوعة بالذكاء الاصطناعي.