Az Amazon Bedrock AgentCore Evaluations elindítja a keretrendszer-független tesztelést

Az Amazon bemutatta az Amazon Bedrock AgentCore Evaluations szolgáltatást, amelyet az AI-ágensek értékelésében tapasztalható fragmentáció kezelésére terveztek. Korábban az értékelési eszközök gyakran specifikus SDK-kat vagy nyomkövetési mintákat igényeltek, ami korlátozta a kompatibilitásukat a különböző ágens-keretrendszerekkel. Ez az új szolgáltatás leválasztja az értékelést az alkalmazott konkrét keretrendszerről azáltal, hogy az OpenTelemetry-t használja közös nyelvként a nyomkövetések, metrikák és naplók gyűjtésére. Az OpenTelemetry vagy OpenInference instrumentáció használatával a szolgáltatás képes rekonstruálni az ágens-munkameneteket, és olyan értékelőkkel pontozni azokat, mint a GoalSuccessRate (célmegvalósítási arány) és a Correctness (helyesség). A rendszer automatikusan osztályozza a span-eket a szükséges adatok kinyeréséhez, beleértve a felhasználói promptokat, a modell válaszait és az eszközvégrehajtási részleteket. Ez a megközelítés számos keretrendszert támogat, beleértve a LangGraph-ot, a LlamaIndex-et és az OpenAI Agents SDK-t, anélkül, hogy módosítani kellene a meglévő ágenskódot. A szolgáltatást úgy tervezték, hogy előre kompatibilis legyen, lehetővé téve az új span-típusok feldolgozását a keretrendszerek fejlődésével, miközben figyelmen kívül hagyja az irreleváns kontextust.