szójegyzékbejegyzés
Kontextusablak
- Kategória
- LLMs & Generative AI
- Nehézség
- Középhaladó
Meghatározás
A kontextusablak az a maximális tokenmennyiség – amely szavakat vagy részszavakat reprezentál –, amelyet egy nagy nyelvi modell egyszerre képes feldolgozni és figyelembe venni egyetlen következtetési menet során.
Működés és összefüggések
A kontextusablak az LLM bemenetének és kimenetének operatív korlátjaként szolgál. Amikor megad egy promptot, a modell ezt a szöveget tokenekké alakítja. A kontextusablak tartalmazza mind a bemenetet (a promptot), mind a modell által generált választ. Amint a teljes tokenszám meghaladja a modell előre meghatározott korlátját, a modellnek „el kell felejtenie” a beszélgetés vagy dokumentum legkorábbi részeit, hogy helyet adjon az új adatoknak. Ezt gyakran csúszóablakos technikákkal vagy csonkolással kezelik. A modern modellek jelentősen kibővítették ezeket az ablakokat, néhány ezer tokenről milliókra. Azonban a nagyobb ablak nem mindig garantálja a tökéletes felidézést; a modellek szenvedhetnek a „középen elveszett” jelenségtől, ahol nehezen tudják előhívni a hatalmas bemeneti dokumentum közepébe temetett információkat a nagyon elején vagy végén lévő információkhoz képest.
Miért fontos
A kontextusablak határozza meg a modell azon képességét, hogy olyan összetett feladatokat kezeljen, mint teljes könyvek összefoglalása, hatalmas kódbázisok elemzése vagy a hosszú távú beszélgetési koherencia fenntartása. A nagyobb ablak lehetővé teszi az átfogóbb „kontextuson belüli tanulást”, ahol a modell hivatkozhat kiterjedt dokumentációra vagy felhasználói előzményekre anélkül, hogy finomhangolásra lenne szükség. Ennek a korlátnak a megértése kulcsfontosságú a RAG (Retrieval-Augmented Generation) rendszereket építő fejlesztők számára, mivel ez határozza meg, mennyi forrásanyag táplálható be a modellbe egyszerre.
Gyakorlati példa
Képzeljen el egy ügyvédi irodát, amely AI-t használ egy 500 oldalas szerződés elemzésére. Ha a szerződés 150 000 tokent tartalmaz, és az AI-modellnek 128 000 tokenes kontextusablaka van, a modell nem tudja az egész dokumentumot egyszerre feldolgozni. A felhasználónak vagy kisebb darabokra kell osztania a dokumentumot, vagy egy lekérdező rendszert kell használnia, hogy csak a legrelevánsabb szakaszokat táplálja be az ablakba, különben a modell levágja a szerződés elejét, és kritikus záradékokat mulaszt el.
Gyakori hibák
- Annak feltételezése, hogy a nagyobb kontextusablak azt jelenti, hogy a modell tökéletesen megjegyez minden részletet az ablakon belül.
- A kontextusablak összekeverése a modell hosszú távú memóriájával vagy betanítási adataival; a kontextusablak ideiglenes, és munkamenetenként alaphelyzetbe áll.
- Annak figyelmen kívül hagyása, hogy a kontextusablak tartalmazza a modell kimenetét is, ami azt jelenti, hogy egy nagyon hosszú prompt kevesebb helyet hagy az AI válaszának.
- Annak elhítése, hogy a kontextusablak méretének növelése nincs hatással a késleltetésre vagy a számítási költségre.
Gyakori kérdések
A nagyobb kontextusablak okosabbá teszi a modellt?
Nem. A nagyobb kontextusablak csak növeli azt az információmennyiséget, amelyet a modell az azonnali munkamemóriájában tarthat. Nem javítja a modell alapvető érvelési képességeit vagy tudásbázisát.
Mi történik, ha túllépem a kontextusablak korlátját?
Jellemzően a modell vagy hibát dob, vagy levágja a beszélgetés legrégebbi részeit, vagy leállítja a szöveggenerálást. A konkrét viselkedés az Ön által használt API vagy felület implementációjától függ.
Hogyan viszonyulnak a tokenek a szavakhoz a kontextusablakban?
A tokenek nem pontosan szavak. Angol nyelven egy token nagyjából 0,75 szónak felel meg. Egy 100 000 tokenes kontextusablak körülbelül 75 000 szót képes tárolni, bár ez a nyelvtől és a modell által használt konkrét tokenizációs módszertől függően változik.