Az IBM Research értékeli az ágensmemória kalibrálását

Az IBM Research közzétette az ALTK-Evolve használatával kapcsolatos eredményeit. Ez a módszer lehetővé teszi az AI-ágensek számára, hogy saját múltbeli pályáikból tanuljanak viselkedési irányelvek desztillálásával, anélkül, hogy frissítenék a modell súlyait vagy emberi annotációra lenne szükség. A kutatás arra utal, hogy az ágensmemória nem univerzális tulajdonság, hanem egy olyan változó, amelyet a modell szintjének megfelelően kell kalibrálni.

Az AppWorld benchmarkon nyolc modellen végzett tesztek során a kutatók három különböző mintát azonosítottak. Az erős, teljesítménytartalékkal rendelkező modellek profitálnak a legtöbbet a desztillált irányelvek teljes készletének megkapásából. Ezzel szemben a kisebb vagy gyengébb modellek jobban teljesítenek egy szelektív megközelítéssel, amely az irányelvek kompakt magját használja, kiegészítve feladatspecifikus lekéréssel. Ez a szelektív módszer a gyengébb modellek esetében pontosabbnak és költséghatékonyabbnak bizonyult, 16,1 százalékponttal növelve a feladatok elvégzését, mindössze 5%-os tokenhasználat-növekedés mellett. Eközben a már telített modellek nem mutattak mérhető javulást a többletmemóriától. Ezek az eredmények rávilágítanak arra, hogy a memóriaadagolást a modell specifikus képességeihez kell igazítani a teljesítmény és a hatékonyság optimalizálása érdekében.