مصطلحًا
تنبؤ الرمز التالي
- الفئة
- LLMs & Generative AI
- الصعوبة
- متوسط
التعريف
هدف تدريب لتعلم الآلة حيث يتم تكليف النموذج بالتنبؤ بالوحدة اللاحقة الأكثر احتمالاً من النص، والمعروفة باسم الرمز (token)، بالنظر إلى تسلسل سابق من الرموز.
آلية العمل والسياق
تنبؤ الرمز التالي هو الآلية الأساسية التي تقود النماذج اللغوية الكبيرة (LLMs) ذاتية الانحدار الحديثة. أثناء التدريب، يتم تغذية النموذج بمجموعات بيانات ضخمة وتكليفه بالتنبؤ بالرمز التالي في تسلسل. من خلال تقليل الفرق بين تنبؤه والرمز التالي الفعلي، يتعلم النموذج أنماطاً معقدة، وقواعد لغوية، وارتباطات واقعية. عند توليد النص، يأخذ النموذج مطالبة إدخال، ويحولها إلى رموز، ويحسب توزيع احتمالية عبر مفرداته بالكامل للرمز التالي. ثم يختار واحداً - غالباً باستخدام تقنيات أخذ العينات مثل درجة الحرارة أو top-p - ويضيفه إلى التسلسل. تتكرر هذه العملية بشكل متكرر. القيد الحرج هو أن النموذج يفتقر إلى "نموذج عالمي" أو فهم حقيقي؛ إنه في الأساس محرك إحصائي متطور يحسن الاحتمالية الأكثر ترجيحاً لاستمرار النمط.
لماذا هو مهم
هذا المفهوم هو محرك الذكاء الاصطناعي التوليدي. فهمه يفسر سبب كون النماذج مبدعة ولكنها عرضة للهلوسة؛ فهي تعمل على تحسين الاحتمالية الإحصائية بدلاً من الحقيقة الواقعية. كما يسلط الضوء على أهمية نوافذ السياق، حيث تعتمد قدرة النموذج على التنبؤ بالرمز التالي بدقة كلياً على المعلومات المتاحة ضمن تسلسله الفوري من الرموز السابقة.
مثال واقعي
عندما تكتب "عاصمة فرنسا هي" في روبوت محادثة، يقوم النموذج بتحليل هذا التسلسل. بناءً على تدريبه، فإنه يخصص احتمالية عالية جداً للرمز "باريس". يختار "باريس"، ويضيفها إلى التسلسل، ثم يكرر العملية للتنبؤ بالرمز التالي، مثل نقطة أو سطر جديد، مما يؤدي فعلياً إلى "كتابة" الجملة قطعة قطعة.
أخطاء شائعة
- افتراض أن النموذج "يفكر" أو "يستدل" مثل الإنسان؛ إنه يقوم بإكمال تسلسل احتمالي.
- الاعتقاد بأن النموذج لديه وصول إلى قاعدة بيانات ثابتة من الحقائق؛ فهو يعتمد على الأنماط المشفرة في أوزانه.
- خلط تنبؤ الرمز بالاسترجاع القائم على القصد؛ النموذج لا "يعرف" ما تريده، فقط ما يتبع مطالبتك إحصائياً.
- التغاضي عن تأثير معلمات أخذ العينات (مثل درجة الحرارة) على المخرجات، والتي يمكن أن تجعل نفس المطالبة تعطي نتائج مختلفة.
الأسئلة الشائعة
كيف يقرر النموذج أي رمز يختاره إذا كانت هناك رموز متعددة محتملة؟
تستخدم النماذج استراتيجيات أخذ العينات. بدلاً من اختيار الرمز الأكثر احتمالاً دائماً (البحث الجشع)، غالباً ما تستخدم تقنيات مثل "درجة الحرارة" لإدخال العشوائية، مما يسمح للنموذج بالاختيار من بين مجموعة من الرموز ذات الاحتمالية العالية لإنشاء نص أكثر طبيعية وتنوعاً.
لماذا تكرر النماذج نفسها أحياناً؟
يحدث التكرار غالباً لأن النموذج دخل في حلقة إحصائية حيث يكون الرمز التالي الأكثر احتمالاً هو رمز قام بتوليده بالفعل، مما يعزز النمط. غالباً ما تُستخدم استراتيجيات فك التشفير المتقدمة والعقوبات لتثبيط هذا السلوك.
هل تنبؤ الرمز التالي هو نفسه الإكمال التلقائي؟
على مستوى عالٍ، نعم، لكن النماذج اللغوية الكبيرة الحديثة أكثر تطوراً بكثير. بينما قد يقترح الإكمال التلقائي الأساسي كلمة واحدة بناءً على التكرار، تستخدم النماذج اللغوية الكبيرة شبكات عصبية عميقة لفهم السياق الدلالي المعقد، مما يسمح لها بتوليد فقرات متماسكة، وكود، وحجج منطقية.