RAG érthetően: hogyan használja az AI a saját adataidat?

A retrieval-augmented generation (RAG) információt keres egy gyűjteményben, majd releváns részleteket ad a modell aktuális kontextusához. A modell ettől nem tanul újra a dokumentumokon.

A RAG folyamata

1. Előkészítés: a dokumentumokat tisztítják, értelmes részekre bontják, és cím, dátum vagy jogosultság metaadattal tárolják. A túl kicsi chunk elveszíti a környezetet, a túl nagy felhígítja a releváns részt.
2. Keresés: az embedding hasonlósági reprezentációt ad. A szemantikus, kulcsszavas és metaadat-alapú keresés kombinálható, az eredmény rerankelhető. Lásd a szemantikus keresést.
3. Kontextusbővítés: az alkalmazás a részleteket, forrásazonosítókat és a hiányos vagy ellentmondó bizonyíték kezelését a kéréshez adja.
4. Generálás: a modell a kontextusból válaszol, a felület pedig megmutatja a forrást. A retrieval nem garantál helyes következtetést.

Nem tréning és nem fine-tuning

A tréning módosítja a modell paramétereit. A fine-tuning példákkal alakítja a viselkedést. A RAG kéréskor ad információt; aktuális, privát vagy visszakövethető tudásnál célszerű.

Gyakori hibák

• Hiányzó vagy elavult dokumentum.
• A szabály és kivétel külön chunkba kerül.
• Témában hasonló, de választ nem tartalmazó találat.
• Hibás jogosultságszűrés.
• A válasz figyelmen kívül hagyja vagy kiforgatja a jó részletet.
• A hivatkozás nem támasztja alá az állítást.
• A rendszer nem mondja ki, hogy a gyűjteményben nincs válasz.

Tesztelj megválaszolható, megválaszolhatatlan, kétértelmű és jogosultságérzékeny kérdéseket. A retrievalt külön értékeld attól, hogy a generált válasz hűen használja-e. Első prototípushoz válassz jól ismert kis dokumentumkészletet, naplózd a találatokat, és használd a RAG fogalmat valamint az AI Developer útvonalat.