مصطلحًا
درجة الحرارة (Temperature)
- الفئة
- LLMs & Generative AI
- الصعوبة
- متوسط
التعريف
معامل فائق (Hyperparameter) يقوم بتوسيع نطاق القيم (Logits) قبل تطبيق دالة Softmax، مما يتحكم بفعالية في توزيع احتمالية الرمز التالي في نموذج توليدي.
آلية العمل والسياق
في سياق النماذج اللغوية الكبيرة (LLMs)، تعد درجة الحرارة قيمة رقمية تملي 'إبداع' أو 'عشوائية' استجابات النموذج. عندما يتنبأ النموذج بالرمز التالي، فإنه يولد قائمة من الاحتمالات لجميع المرشحين المحتملين. يقوم معامل درجة الحرارة بتعديل هذه الاحتمالات قبل إجراء الاختيار النهائي. عند درجة حرارة منخفضة (قريبة من 0)، يصبح النموذج حتمياً، حيث يختار باستمرار الرمز الأكثر احتمالاً، وهو مثالي للمهام الواقعية أو البرمجة. عند درجة حرارة مرتفعة (أعلى من 1)، يقوم النموذج بتسطيح توزيع الاحتمالات، مما يجعل الرموز الأقل احتمالاً أكثر ترجيحاً، وهو ما يشجع على مخرجات متنوعة أو إبداعية أو غير متوقعة. ومع ذلك، فإن ضبط درجة الحرارة على مستوى مرتفع جداً يمكن أن يؤدي إلى 'هلوسة' أو نصوص غير متماسكة، حيث قد يختار النموذج رموزاً غير محتملة للغاية تكسر التدفق المنطقي للمحادثة.
لماذا هو مهم
تعد درجة الحرارة رافعة حاسمة للمطورين والمستخدمين لتحقيق التوازن بين الدقة والإبداع. في أنظمة الذكاء الاصطناعي المهنية، يعد اختيار درجة الحرارة المناسبة أمراً ضرورياً للأداء الخاص بالمهمة: تضمن الإعدادات المنخفضة الدقة لاستخراج البيانات والوثائق التقنية، بينما تكون الإعدادات الأعلى ضرورية للعصف الذهني، والكتابة الإبداعية، والتنوع الحواري. يسمح فهم هذا المعامل بضبط سلوك النموذج لتلبية احتياجات المستخدم المحددة دون إعادة تدريب البنية الأساسية.
مثال واقعي
تخيل مطوراً يبني روبوت دعم عملاء. بالنسبة لوحدة 'استكشاف الأخطاء التقنية'، يضبط درجة الحرارة على 0.1 لضمان تقديم الروبوت تعليمات متسقة ودقيقة وآمنة بناءً على الوثائق الرسمية. على العكس من ذلك، بالنسبة لوحدة 'كتابة الإعلانات التسويقية'، يضبط درجة الحرارة على 0.8، مما يسمح للذكاء الاصطناعي بتوليد شعارات إعلانية أكثر جاذبية وتنوعاً وإبداعاً تلتقط صوت العلامة التجارية دون أن تبدو متكررة.
أخطاء شائعة
- افتراض أن درجة الحرارة الأعلى تؤدي دائماً إلى مخرجات 'أذكى' أو أكثر ذكاءً.
- إهمال ضبط درجة الحرارة عند التبديل بين حالات الاستخدام الواقعية والإبداعية.
- الخلط بين درجة الحرارة و 'Top-P' (أخذ العينات النواتية)، الذي يصفي مجموعة المرشحين بدلاً من توسيع نطاق توزيع الاحتمالات.
- ضبط درجة الحرارة على 0 في مهمة إبداعية، مما يؤدي إلى نصوص متكررة تبدو آلية.
الأسئلة الشائعة
هل تؤثر درجة الحرارة على المعرفة الأساسية للنموذج؟
لا. لا تغير درجة الحرارة ما يعرفه النموذج؛ بل تغير فقط كيفية اختيار النموذج من الاحتمالات التي حسبها بالفعل بناءً على بيانات تدريبه.
ماذا يحدث إذا ضبطت درجة الحرارة على 0 بالضبط؟
عند درجة حرارة 0، يصبح النموذج جشعاً، حيث يختار دائماً الرمز التالي الأكثر احتمالاً. وهذا يجعل المخرجات حتمية، مما يعني أن نفس الأمر سينتج باستمرار نفس الاستجابة بالضبط.
هل يمكن استخدام درجة الحرارة لإصلاح الهلوسة؟
يمكن أن يؤدي خفض درجة الحرارة إلى تقليل احتمالية اختيار النموذج لرموز 'إبداعية' ولكنها غير صحيحة، مما قد يساعد في تخفيف بعض أنواع الهلوسة، لكنه لا يمكنه القضاء عليها تماماً إذا كان النموذج يفتقر إلى المعلومات الصحيحة.