مصطلحًا
أخذ العينات (Sampling)
- الفئة
- LLMs & Generative AI
- الصعوبة
- متوسط
التعريف
أخذ العينات هو العملية الاحتمالية التي تستخدمها النماذج اللغوية الكبيرة لاختيار الرمز التالي في تسلسل من توزيع احتمالي عبر المفردات بأكملها.
آلية العمل والسياق
في سياق النماذج اللغوية الكبيرة (LLMs)، يحدث أخذ العينات بعد أن يحسب النموذج درجة احتمالية لكل رمز تالٍ ممكن. بدلاً من اختيار الرمز الأكثر احتمالاً دائمًا—وهي طريقة تُعرف بفك التشفير الجشع (greedy decoding)—يقدم أخذ العينات عشوائية محكومة. يسمح هذا للنموذج بإنشاء نصوص متنوعة وشبيهة بالبشر. تشمل تقنيات أخذ العينات الشائعة 'درجة الحرارة' (Temperature)، التي تسطح أو تشحذ التوزيع الاحتمالي، و'أخذ عينات Top-P' (أخذ العينات النواتية)، التي تقصر الاختيار على مجموعة فرعية من الرموز التي تتجاوز احتمالاتها التراكمية عتبة معينة. تُعد هذه الآليات ضرورية لموازنة التماسك مع الإبداع. بدون أخذ العينات، غالبًا ما تقع النماذج في حلقات متكررة أو تنتج ردودًا مبسطة للغاية وحتمية. ومع ذلك، يمكن أن تؤدي إعدادات أخذ العينات غير الصحيحة إلى 'هلوسة' أو مخرجات غير منطقية إذا أُجبر النموذج على الاختيار من رموز ذات احتمالية منخفضة وغير ذات صلة.
لماذا هو مهم
يُعد أخذ العينات الرافعة الأساسية للتحكم في 'شخصية' الذكاء الاصطناعي. في التطبيقات المهنية، يعد أخذ العينات منخفض العشوائية أمرًا بالغ الأهمية للمهام التي تتطلب دقة واقعية، مثل توليد الكود أو استخراج البيانات. على العكس من ذلك، يعد أخذ العينات عالي العشوائية حيويًا للكتابة الإبداعية، والعصف الذهني، ولعب الأدوار. يسمح فهم هذه المعلمات للمطورين والمستخدمين بتحسين سلوك النموذج لحالات استخدام محددة، مما يضمن توافق المخرجات مع المستوى المطلوب من الدقة أو الابتكار.
مثال واقعي
تخيل مطورًا يبني روبوت محادثة لدعم العملاء. يقوم بضبط درجة الحرارة على قيمة منخفضة (مثل 0.2) لضمان تقديم النموذج لإجابات دقيقة ومتوافقة مع السياسات باستمرار. لاحقًا، ينشئ نفس المطور مساعد كتابة إبداعية لفريق تسويق. يقوم بزيادة درجة الحرارة إلى 0.8، مما يسمح للنموذج باستكشاف مفردات أكثر تنوعًا وهياكل جمل فريدة، مما يؤدي إلى نصوص إعلانية أكثر جاذبية وأقل قابلية للتنبؤ.
أخطاء شائعة
- افتراض أن درجة الحرارة الأعلى تؤدي دائمًا إلى مخرجات 'أذكى'؛ فهي في الواقع تزيد من العشوائية، مما قد يقلل من التماسك.
- الخلط بين أخذ العينات والتدريب؛ أخذ العينات يؤثر فقط على مرحلة الاستدلال (التوليد)، وليس المعرفة الأساسية للنموذج.
- إهمال التفاعل بين Top-P ودرجة الحرارة، مما قد يؤدي إلى سلوك مخرجات غير متوقع عند ضبط كليهما بقوة.
الأسئلة الشائعة
كيف تختلف درجة الحرارة عن أخذ عينات Top-P؟
تقوم درجة الحرارة بتوسيع التوزيع الاحتمالي بأكمله، مما يجعل الرموز ذات الاحتمالية العالية أكثر احتمالاً أو تسطيح التوزيع لإعطاء الرموز ذات الاحتمالية المنخفضة فرصة. في المقابل، يتجاهل أخذ عينات Top-P التوزيع الاحتمالي تمامًا بمجرد الوصول إلى عتبة تراكمية، مع التركيز فقط على 'نواة' المرشحين الأكثر احتمالاً.
هل يمكن استخدام أخذ العينات للقضاء على الهلوسة؟
على الرغم من أن خفض درجة الحرارة يمكن أن يقلل من احتمالية اختيار النموذج لرموز 'إبداعية' ولكن غير صحيحة، إلا أنه لا يمكنه القضاء على الهلوسة تمامًا. غالبًا ما تكون الهلوسة متجذرة في بيانات تدريب النموذج ومنطقه الداخلي، وليس فقط في طريقة أخذ العينات.
لماذا يكرر نموذجي نفس العبارة حتى مع أخذ العينات؟
غالبًا ما يكون التكرار ناتجًا عن مزيج من درجة الحرارة المنخفضة والتحيز الداخلي للنموذج. قد تحتاج إلى ضبط معلمات 'عقوبة التكرار' (frequency penalty) أو 'عقوبة الحضور' (presence penalty) جنبًا إلى جنب مع إعدادات أخذ العينات الخاصة بك لتثبيط النموذج عن إعادة استخدام الرموز.