AWS permite el despliegue de modelos de decisión con llama.cpp en SageMaker
AWS publicó una guía para servir modelos quantizados de llama.cpp en SageMaker, ofreciendo tanto endpoints de completación de chat como de decisión estructurada con opciones CPU o GPU.
Publicación de la fuente original: 12 de octubre de 2026
El blog de AWS detalla dos rutas de despliegue para modelos llama.cpp en SageMaker AI. La ruta estándar utiliza el AWS Deep Learning Container para llama.cpp para exponer una API de completaciones de chat compatible con OpenAI, mientras que la ruta de decisión estructurada construye una imagen secundaria que reemplaza el servidor predeterminado con un adaptador SemIf, devolviendo probabilidades de opciones en lugar de texto generado. Ambas rutas aceptan un modelo GGUF almacenado en Amazon S3 y asignan POST /invocations al endpoint correspondiente.
Para el flujo de trabajo de decisión estructurada, la imagen secundaria se construye con CodeBuild, conserva las bibliotecas compiladas de CPU o CUDA del DLC y se almacena en Amazon ECR. Las pruebas de referencia muestran que el endpoint GPU procesa decisiones 4.9× más rápido en la mediana (p50) y 32.2× más rápido en el percentil 95 comparado con el endpoint CPU, con precisión comparable. La guía también enumera requisitos previos como una cuenta de AWS, bucket S3, roles IAM y tipos de instancias SageMaker compatibles.
Estas instrucciones brindan a los desarrolladores un ejemplo concreto de integración de modelos de puntuación de decisiones en producción, ilustrando cómo equilibrar latencia, elección de hardware y cuantización del modelo al construir sistemas de enrutamiento o políticas impulsados por IA.