مصطلحًا
التدريب المسبق (Pretraining)
- الفئة
- LLMs & Generative AI
- الصعوبة
- متوسط
التعريف
التدريب المسبق هو المرحلة الأولية والمكثفة حاسوبياً في تعلم الآلة حيث يتم تدريب النموذج على مجموعة بيانات ضخمة غير مصنفة لتعلم الأنماط العامة والهياكل اللغوية والمعرفة العالمية. تخلق هذه العملية 'نموذجاً تأسيسياً' يمكن تكييفه لاحقاً لمهام محددة.
آلية العمل والسياق
يعمل التدريب المسبق كحجر أساس للذكاء الاصطناعي التوليدي الحديث. خلال هذه المرحلة، يتعرض النموذج - عادةً بنية المحولات (Transformer) - لتريليونات الرموز (Tokens) من مصادر متنوعة مثل الكتب والمواقع الإلكترونية ومستودعات الأكواد البرمجية. الهدف عادة هو التعلم الذاتي، حيث يتنبأ النموذج بالرمز التالي في تسلسل ما، مما يجبره فعلياً على استيعاب القواعد والمنطق والارتباطات الواقعية. هذه المرحلة مكلفة حسابياً، وغالباً ما تتطلب آلاف وحدات معالجة الرسومات (GPUs) التي تعمل لأسابيع. النموذج الناتج، المعروف بالنموذج التأسيسي، يمتلك قدرات واسعة ولكنه يفتقر إلى التعليمات الخاصة بالمهمة. بينما يوفر التدريب المسبق 'ذكاء' النظام، فإنه لا يجعل النموذج بطبيعته مفيداً أو آمناً؛ تلك الصفات يتم غرسها عادةً خلال مراحل لاحقة مثل الضبط الدقيق الخاضع للإشراف والتعلم التعزيزي من التغذية الراجعة البشرية (RLHF).
لماذا هو مهم
التدريب المسبق هو المحرك الرئيسي لـ 'القدرات الناشئة' التي نراها في الذكاء الاصطناعي الحديث. من خلال التعلم من مجموعات بيانات ضخمة ومتنوعة، تطور النماذج فهماً عاماً للعالم يسمح لها بأداء مهام لم يتم تدريبها عليها صراحةً. هذه المرحلة بالغة الأهمية لأنها تحدد المعرفة الأساسية للنموذج وقدرته على الاستدلال والتحيزات المحتملة، مما يجعلها الاستثمار الأكثر أهمية في دورة حياة تطوير الذكاء الاصطناعي.
مثال واقعي
تخيل شركة تبني ذكاءً اصطناعياً طبياً متخصصاً. يقومون أولاً بإجراء تدريب مسبق على مجموعة ضخمة من نصوص الإنترنت العامة لتعليم النموذج كيفية فهم اللغة والنحو والمنطق. بمجرد تأسيس هذه القاعدة العامة، يقومون بعد ذلك بإجراء ضبط دقيق على مجموعة بيانات أصغر ومنسقة من الكتب الطبية والملاحظات السريرية. بدون التدريب المسبق الأولي، سيكافح النموذج لفهم بنية الجملة الأساسية أو السياق، بغض النظر عن مقدار البيانات الطبية التي تلقاها لاحقاً.
أخطاء شائعة
- الخلط بين التدريب المسبق والضبط الدقيق؛ التدريب المسبق يتعلق بالمعرفة العامة، بينما الضبط الدقيق يتعلق بالسلوك الخاص بالمهمة.
- افتراض أن النموذج المدرب مسبقاً جاهز للنشر؛ غالباً ما تفتقر النماذج المدربة مسبقاً إلى حواجز الأمان وقدرات اتباع التعليمات المطلوبة لتطبيقات المستخدم النهائي.
- الاستهانة بمتطلبات جودة البيانات؛ حتى في التدريب المسبق، ينطبق مبدأ 'البيانات السيئة تؤدي لنتائج سيئة'، حيث يمكن أن تؤدي البيانات منخفضة الجودة إلى نماذج عرضة للهلوسة أو التحيز.
- تجاهل التكلفة البيئية والمالية؛ التدريب المسبق هو الجزء الأكثر استهلاكاً للموارد في تطوير الذكاء الاصطناعي، وغالباً ما يكلف ملايين الدولارات في الحوسبة.
الأسئلة الشائعة
كيف يختلف التدريب المسبق عن التعلم الخاضع للإشراف؟
يتطلب التعلم الخاضع للإشراف بيانات مصنفة حيث يتم إخبار النموذج بالإجابة 'الصحيحة' لكل مدخل. يستخدم التدريب المسبق عادةً التعلم الذاتي، حيث يولد النموذج تصنيفاته الخاصة من بنية البيانات نفسها، مثل التنبؤ بالكلمة التالية في جملة.
هل يمكن استخدام النموذج فوراً بعد التدريب المسبق؟
من الناحية الفنية نعم، ولكن نادراً ما يكون ذلك عملياً. النموذج المدرب مسبقاً الخام هو 'نموذج أساسي' يعمل أشبه بمحرك إكمال المستندات. يحتاج إلى ضبط دقيق ليصبح مساعداً مفيداً يمكنه اتباع التعليمات أو الحفاظ على شخصية معينة أو الالتزام بإرشادات السلامة.
هل يتطلب التدريب المسبق تدخلاً بشرياً؟
التدريب المسبق مؤتمت إلى حد كبير، لكن التدخل البشري بالغ الأهمية في مرحلة تنسيق البيانات. يجب على المهندسين تصفية وتنظيف وإزالة التكرار من مجموعات البيانات الضخمة لضمان تعلم النموذج من معلومات عالية الجودة وممثلة بدلاً من الضوضاء أو المحتوى الضار.