مصطلحًا
التعلم بنقل المعرفة
- الفئة
- Training, Adaptation & Inference
- الصعوبة
- متوسط
التعريف
تقنية تعلم آلة حيث يُعاد استخدام نموذج تم تطويره لمهمة مصدر كنقطة بداية لنموذج لمهمة ثانية ذات صلة.
آلية العمل والسياق
يعمل التعلم بنقل المعرفة على مبدأ أن العديد من نماذج الذكاء الاصطناعي، وخاصة الشبكات العصبية العميقة، تتعلم ميزات عامة في طبقاتها الأولى - مثل الحواف أو الأنسجة أو الأنماط اللغوية الأساسية - التي تكون مفيدة عبر العديد من التطبيقات المختلفة. بدلاً من تدريب نموذج من الصفر، وهو ما يتطلب مجموعات بيانات ضخمة وحوسبة مكثفة، يأخذ الممارسون نموذجًا مدربًا مسبقًا على مجموعة بيانات عامة كبيرة (مثل ImageNet للرؤية أو مجموعة ضخمة للغة) ويقومون "بضبطه بدقة" على مجموعة بيانات أصغر خاصة بالمهمة. تتضمن هذه العملية تجميد بعض الطبقات الأولية وإعادة تدريب الطبقات النهائية لتكييف مخرجات النموذج مع المتطلبات الجديدة. على الرغم من كفاءته العالية، إلا أن التعلم بنقل المعرفة محدود بـ "فجوة النطاق"؛ إذا كانت المهام المصدر والمستهدفة متباعدة جدًا، فقد تكون المعرفة المنقولة غير ذات صلة أو حتى ضارة بالأداء.
لماذا هو مهم
يعد التعلم بنقل المعرفة العمود الفقري لإمكانية الوصول إلى الذكاء الاصطناعي الحديث. فهو يمكن المطورين والباحثين من بناء تطبيقات عالية الأداء دون الحاجة إلى ميزانيات حوسبة بملايين الدولارات المطلوبة لتدريب النماذج الأساسية من الصفر. من خلال الاستفادة من الذكاء الموجود مسبقًا، فإنه يضفي الطابع الديمقراطي على تطوير الذكاء الاصطناعي، ويسمح بالنماذج الأولية السريعة، ويتيح إنشاء نماذج متخصصة يمكن أن تعمل بفعالية حتى عندما تكون بيانات التدريب للمهمة المستهدفة المحددة نادرة.
مثال واقعي
تريد شركة ناشئة في مجال التصوير الطبي بناء نموذج لاكتشاف أمراض الجلد النادرة. بدلاً من جمع ملايين الصور لتدريب شبكة عصبية من الصفر، يأخذون نموذجًا مدربًا مسبقًا على كائنات عامة (مثل السيارات والحيوانات). نظرًا لأن النموذج يفهم بالفعل الأشكال والأنماط الأساسية، فإنهم يحتاجون فقط إلى ضبطه بدقة على بضع مئات من الصور المصنفة لحالات الجلد لتحقيق دقة تشخيصية عالية.
أخطاء شائعة
- افتراض أن نموذجًا تم تدريبه على مجال واحد سيعمل تلقائيًا بشكل جيد في مجال غير ذي صلة تمامًا دون ضبط دقيق كافٍ.
- الفشل في تطبيع مجموعة البيانات المستهدفة لتتناسب مع توزيع مجموعة البيانات المصدر المستخدمة للتدريب المسبق.
- الإفراط في تخصيص النموذج لمجموعة بيانات مستهدفة صغيرة أثناء مرحلة الضبط الدقيق، مما يلغي فوائد الميزات المدربة مسبقًا.
- تجميد عدد كبير جدًا أو قليل جدًا من الطبقات، مما قد يؤدي إما إلى نقص التكيف أو النسيان الكارثي للمعرفة الأصلية.
الأسئلة الشائعة
كيف يختلف التعلم بنقل المعرفة عن الضبط الدقيق؟
التعلم بنقل المعرفة هو الاستراتيجية الشاملة لإعادة استخدام نموذج، بينما الضبط الدقيق هو العملية المحددة لضبط أوزان ذلك النموذج المدرب مسبقًا على مجموعة بيانات جديدة.
ما هو "النسيان الكارثي" في سياق التعلم بنقل المعرفة؟
يحدث عندما يفقد النموذج، أثناء ضبطه بدقة لمهمة جديدة، القدرة على أداء المهمة الأصلية التي تم تدريبه عليها لأن تحديثات الوزن تكون عدوانية للغاية.
هل يمكن استخدام التعلم بنقل المعرفة مع أي نوع من نماذج تعلم الآلة؟
على الرغم من أنه الأكثر شيوعًا في التعلم العميق (الشبكات العصبية)، إلا أنه أقل قابلية للتطبيق على الخوارزميات التقليدية مثل الانحدار الخطي أو أشجار القرار، والتي لا تتعلم عادةً تمثيلات الميزات الهرمية.