IBM Research evalúa la calibración de la memoria agéntica

IBM Research ha publicado hallazgos sobre el uso de ALTK-Evolve, un método que permite a los agentes de IA aprender de sus propias trayectorias pasadas mediante la destilación de pautas de comportamiento sin actualizar los pesos del modelo ni requerir anotación humana. La investigación sugiere que la memoria agéntica no es una característica universal, sino una variable que debe calibrarse según el nivel del modelo. Al realizar pruebas en ocho modelos sobre el benchmark AppWorld, los investigadores identificaron tres patrones distintos. Los modelos fuertes con margen de rendimiento se benefician más al recibir un conjunto completo de pautas destiladas. Por el contrario, los modelos más pequeños o débiles funcionan mejor con un enfoque selectivo, utilizando un núcleo compacto de pautas complementado con recuperación específica de tareas. Este método selectivo resultó ser más preciso y rentable para los modelos más débiles, aumentando la finalización de tareas en 16.1 puntos porcentuales con solo un 5% de aumento en el uso de tokens. Mientras tanto, los modelos ya saturados no mostraron ganancias medibles con memoria adicional. Estos hallazgos destacan que la dosis de memoria debe adaptarse a las capacidades específicas de un modelo para optimizar el rendimiento y la eficiencia.