szójegyzékbejegyzés
Következő token előrejelzése
- Kategória
- LLMs & Generative AI
- Nehézség
- Középhaladó
Meghatározás
Egy gépi tanulási képzési célkitűzés, ahol a modell feladata a szöveg legvalószínűbb következő egységének, az úgynevezett tokennek az előrejelzése egy megelőző token-sorozat alapján.
Működés és összefüggések
A következő token előrejelzése a modern autoregresszív nagy nyelvi modellek (LLM-ek) hajtóereje. A képzés során a modell hatalmas adatkészleteket kap, és feladata a sorozat következő tokenjének előrejelzése. Az előrejelzése és a tényleges következő token közötti különbség minimalizálásával a modell komplex mintákat, nyelvtant és tényszerű asszociációkat tanul meg. Szöveggeneráláskor a modell bemeneti promptot vesz, tokenekké alakítja, és kiszámítja a teljes szókincsére vonatkozó valószínűség-eloszlást a következő tokenre. Ezután kiválaszt egyet – gyakran mintavételi technikákat, például hőmérsékletet vagy top-p-t használva –, és hozzáfűzi a sorozathoz. Ez a folyamat iteratívan ismétlődik. Kritikus korlát, hogy a modellből hiányzik a „világmodell” vagy a valódi megértés; lényegében egy kifinomult statisztikai motor, amely a minta legvalószínűbb folytatását optimalizálja.
Miért fontos
Ez a koncepció a generatív AI motorja. Megértése megmagyarázza, miért lehetnek a modellek kreatívak, de hajlamosak a hallucinációkra; a tényszerű igazság helyett a statisztikai valószínűséget optimalizálják. Kiemeli a kontextusablakok fontosságát is, mivel a modell azon képessége, hogy pontosan előrejelezze a következő tokent, teljes mértékben a megelőző tokenek közvetlen sorozatában rendelkezésre álló információktól függ.
Gyakorlati példa
Amikor beírja egy chatbotba, hogy „Franciaország fővárosa”, a modell elemzi ezt a sorozatot. Képzése alapján nagyon magas valószínűséget rendel a „Párizs” tokenhez. Kiválasztja a „Párizs”-t, hozzáadja a sorozathoz, majd megismétli a folyamatot a következő token előrejelzésére, például egy pontra vagy új sorra, hatékonyan „írva” a mondatot darabonként.
Gyakori hibák
- Annak feltételezése, hogy a modell úgy „gondolkodik” vagy „érvel”, mint egy ember; valójában valószínűségi sorozat-kiegészítést végez.
- Azt hinni, hogy a modell hozzáfér egy statikus tényadatbázishoz; a súlyaiban kódolt mintákra támaszkodik.
- A token-előrejelzés összekeverése a szándékalapú lekéréssel; a modell nem „tudja”, mit akar a felhasználó, csak azt, hogy statisztikailag mi következik a prompt után.
- A mintavételi paraméterek (például a hőmérséklet) kimenetre gyakorolt hatásának figyelmen kívül hagyása, ami miatt ugyanaz a prompt különböző eredményeket adhat.
Gyakori kérdések
Hogyan dönti el a modell, melyik tokent válassza, ha több is valószínű?
A modellek mintavételi stratégiákat használnak. Ahelyett, hogy mindig a legvalószínűbb tokent választanák (greedy search), gyakran használnak olyan technikákat, mint a „hőmérséklet” a véletlenszerűség bevezetésére, lehetővé téve a modell számára, hogy a nagy valószínűségű tokenek közül válasszon a természetesebb és változatosabb szöveg létrehozása érdekében.
Miért ismétlik néha magukat a modellek?
Az ismétlés gyakran azért fordul elő, mert a modell statisztikai hurokba került, ahol a legvalószínűbb következő token egy olyan, amelyet már generált, megerősítve a mintát. A fejlett dekódolási stratégiákat és büntetéseket gyakran használják ennek a viselkedésnek a visszaszorítására.
A következő token előrejelzése ugyanaz, mint az automatikus kiegészítés?
Magas szinten igen, de a modern LLM-ek sokkal kifinomultabbak. Míg az alapvető automatikus kiegészítés gyakoriság alapján javasolhat egyetlen szót, az LLM-ek mély neurális hálózatokat használnak a komplex szemantikai kontextus megértéséhez, lehetővé téve számukra koherens bekezdések, kód és logikus érvek generálását.