Token
A token a szöveg vagy egyéb bemenet egy olyan egysége, amelyet egy AI-modell feldolgoz, például egy szó része, egy egész szó, írásjel vagy más kódolt elem.
Meghatározás
A token a szöveg vagy egyéb bemenet egy olyan egysége, amelyet egy AI-modell feldolgoz, például egy szó része, egy egész szó, írásjel vagy más kódolt elem.
A token a szöveg vagy egyéb bemenet egy olyan egysége, amelyet egy AI-modell feldolgoz, például egy szó része, egy egész szó, írásjel vagy más kódolt elem. A fogalommal gyakran találkozhatunk a modern mesterséges intelligencia tanulmányozása vagy használata során. Pontos implementációja és viselkedése modellenként, platformonként és felhasználási esetenként eltérő lehet, ezért mindig annak a rendszernek a kontextusában kell értelmezni, amelyben alkalmazzák.
Miért fontos
A tokenek száma befolyásolja a kontextuskorlátokat, a modell bemeneti méretét, a kimenet hosszát, a teljesítményt és gyakran az API-használati költségeket is.
Gyakorlati példa
Egy hosszú dokumentumot tokenek sorozatává alakítanak át, mielőtt egy nyelvi modell feldolgozná azt.
Példák
- Egy hosszú dokumentumot tokenek sorozatává alakítanak át, mielőtt egy nyelvi modell feldolgozná azt.
Gyakori hibák
- A token fogalmának összemosása minden egyéb kapcsolódó AI-koncepcióval
- A korlátok és a kontextus figyelmen kívül hagyása, amelyben a tokent használják
- Az AI által generált magyarázatokra való támaszkodás fontos technikai vagy tényszerű állítások ellenőrzése nélkül
Gyakori kérdések
Mi az a token?
A token a szöveg vagy egyéb bemenet egy olyan egysége, amelyet egy AI-modell feldolgoz, például egy szó része, egy egész szó, írásjel vagy más kódolt elem.
Miért fontos a token?
A token azért fontos, mert segít megérteni, hogyan működnek a modern AI-rendszerek, alkalmazások vagy munkafolyamatok, és hogyan használhatók hatékonyan.
A token csak a fejlesztők számára releváns?
Nem. A szükséges technikai mélység változó, de a tokenek megértése hasznos lehet AI-felhasználók, kutatók, alkotók, marketingesek és más, mesterséges intelligenciával dolgozó szakemberek számára is.
Kapcsolódó kurzusok
ChatGPT Prompt Engineering for Developers
A ChatGPT Prompt Engineering for Developers egy kezdőbarát rövid kurzus, amelyet a DeepLearning.AI hozott létre az OpenAI-jal együttműködve. Isa Fulford és Andrew Ng oktatásában bemutatja a gyakorlati prompt engineering technikákat az alkalmazásfejlesztéshez, és szemlélteti, hogyan használhatók a nagy nyelvi modellek összefoglalásra, következtetésre, szövegátalakításra, bővítésre és chatbot-fejlesztésre. A kurzus interaktív példákat és gyakorlati munkát tartalmaz az OpenAI API-val.
Generative AI for Everyone
A Generative AI for Everyone egy kezdő szintű DeepLearning.AI kurzus, amelyet Andrew Ng tanít. Elmagyarázza, hogyan működik a generatív AI, mire képesek és mire nem a jelenlegi rendszerek, és hogyan alkalmazható a technológia a mindennapi munkában és az üzleti életben. A tanulók megismerkedhetnek a promptolással, a generatív AI projekt életciklusával, a nagy nyelvi modellekkel, a RAG-gel (Retrieval-Augmented Generation), a finomhangolással, a modellválasztással, az eszközhasználattal, az AI ágensekkel, az automatizálási lehetőségekkel és a felelős AI-val.
Kapcsolódó tanulási útvonalak
AI-fejlesztői tanulási útvonal
Strukturált tanulási útvonal azon törekvő AI-fejlesztők számára, akik meg akarják érteni a modern AI-rendszereket és hasznos, AI-alapú alkalmazásokat szeretnének építeni. Az útvonal ötvözi az alapvető fogalmakat, a gyakorlati AI-eszközöket, a kódolási munkafolyamatokat, az irányított projekteket és a fejlesztési mérföldköveket.
Promptmérnök tanulási útvonal
Gyakorlati tanulási útvonal a promptmérnöki készségek fejlesztéséhez a modern AI-asszisztensek és munkafolyamatok területén. Az útvonal lefedi a prompt szerkezetét, a kontextus tervezését, a modell-összehasonlítást, a kimeneti korlátozásokat, az értékelést, a kutatási munkafolyamatokat, az iterációt és a gyakorlati projekteket.
Kapcsolódó szójegyzékbejegyzések
Kontextusablak
A kontextusablak az az információmennyiség, amelyet egy MI-modell egyetlen interakció vagy feldolgozási folyamat során figyelembe tud venni, jellemzően tokenekben mérve.
Következtetés (Inference)
A következtetés az a folyamat, amely során egy képzett MI- vagy gépi tanulási modellt használnak kimenet előállítására új bemeneti adatokból.
Nagy nyelvi modell (LLM)
A nagy nyelvi modell egy olyan MI-modell, amelyet nagy mennyiségű szövegen és egyéb adatokon képeztek ki a nyelv megértésére és generálására token-sorozatok előrejelzésével és előállításával.