Amazon Bedrock AgentCore Evaluations lanza pruebas agnósticas al framework

Amazon ha presentado Amazon Bedrock AgentCore Evaluations, un servicio diseñado para abordar la fragmentación en la evaluación de agentes de IA. Anteriormente, las herramientas de evaluación a menudo requerían SDK específicos o patrones de rastreo, lo que limitaba su compatibilidad con diversos frameworks de agentes. Este nuevo servicio desacopla la evaluación del framework específico utilizado al aprovechar OpenTelemetry como un lenguaje común para recopilar trazas, métricas y registros.

Al utilizar la instrumentación de OpenTelemetry u OpenInference, el servicio puede reconstruir sesiones de agentes y puntuarlas utilizando evaluadores como GoalSuccessRate y Correctness. El sistema clasifica automáticamente los spans para extraer los datos necesarios, incluidos los prompts de los usuarios, las respuestas del modelo y los detalles de ejecución de herramientas. Este enfoque es compatible con varios frameworks, incluidos LangGraph, LlamaIndex y el SDK de OpenAI Agents, sin necesidad de realizar cambios en el código existente del agente. El servicio está diseñado para ser compatible con versiones futuras, lo que le permite procesar nuevos tipos de spans a medida que evolucionan los frameworks, mientras ignora el contexto irrelevante.