Az AWS lehetővé teszi a döntési modellek telepítését llama.cpp-vel a SageMaker-en
Az AWS kiadott egy útmutatót a kvantált llama.cpp modellek SageMaker-en történő kiszolgálásához, amely chat‑completion és strukturált‑döntési végpontokat kínál CPU vagy GPU opciókkal.
Az eredeti forrás közzétételi dátuma: 2026. október 12.
Az AWS blogbejegyzés részletezi a két telepítési útvonalat a llama.cpp modellekhez a SageMaker AI-n. A standard útvonal az AWS Deep Learning Container for llama.cpp-t használja, hogy egy OpenAI‑kompatibilis chat completions API-t tegyen elérhetővé, míg a strukturált‑döntési útvonal egy gyermek képet épít, amely lecseréli az alapértelmezett szervert egy SemIf adapterre, és a generált szöveg helyett opcióvalószínűségeket ad vissza. Mindkét útvonal elfogad egy Amazon S3-ban tárolt GGUF modellt, és a POST /invocations kérést a megfelelő végpontra irányítja.
A strukturált‑döntési munkafolyamat esetén a gyermek képet a CodeBuild építi, megtartja a DLC által lefordított CPU vagy CUDA könyvtárakat, és az Amazon ECR-ben tárolja. A benchmarkok azt mutatják, hogy a GPU végpont a döntéseket a medián (p50) esetén 4,9‑ször, a 95‑ös percentilisnél pedig 32,2‑ször gyorsabban dolgozza fel, mint a CPU végpont, hasonló pontossággal. A útmutató felsorolja az előfeltételeket is, mint például egy AWS fiók, S3 vödör, IAM szerepkörök és kompatibilis SageMaker példánytípusok.
Ezek az utasítások konkrét példát nyújtanak a fejlesztőknek a döntés‑pontozó modellek termelésbe való integrálására, bemutatva, hogyan lehet egyensúlyba hozni a késleltetést, a hardverválasztást és a modell kvantálást AI‑vezérelt útválasztási vagy szabályozási rendszerek építésekor.