مصطلحًا
المُشفّر-فك التشفير (Encoder-Decoder)
- الفئة
- Neural Networks & Architectures
- الصعوبة
- متوسط
التعريف
المُشفّر-فك التشفير هو بنية شبكة عصبية تتكون من مكونين رئيسيين: مُشفّر يضغط بيانات الإدخال في تمثيل كامن، وفك تشفير يعيد بناء أو تحويل ذلك التمثيل إلى مخرجات مستهدفة.
آلية العمل والسياق
تُعد بنية المُشفّر-فك التشفير، والتي يُشار إليها غالباً بنمذجة 'من تسلسل إلى تسلسل' (seq2seq)، حجر الزاوية في التعلم العميق الحديث. يعمل المُشفّر عن طريق قراءة تسلسل الإدخال - مثل جملة باللغة الإنجليزية - وتعيينها في متجه ثابت الطول أو سلسلة من الحالات المخفية المعروفة باسم متجه السياق. يلتقط هذا المتجه الجوهر الدلالي للمدخلات. ثم يأخذ فك التشفير هذا السياق ويولد تسلسل مخرجات، مثل الترجمة الفرنسية للجملة الأصلية، رمزاً واحداً في كل مرة. بينما اعتمدت الإصدارات المبكرة على الشبكات العصبية المتكررة (RNNs) أو LSTMs، تستخدم التطبيقات الحديثة في الغالب بنية المحولات (Transformer). ومن القيود الحاسمة لنماذج المُشفّر-فك التشفير الأساسية هو 'عنق زجاجة المعلومات'، حيث يواجه المتجه ثابت الطول صعوبة في تمثيل المدخلات الطويلة والمعقدة، مما أدى إلى تطوير آليات الانتباه للسماح لفك التشفير بالتركيز على أجزاء محددة من المدخلات.
لماذا هو مهم
فهي تشغل الترجمة الآلية، وتلخيص النصوص، وتحويل الكلام إلى نص، وحتى وصف الصور.
مثال واقعي
في نظام الترجمة الآلية، يقرأ المُشفّر جملة يابانية ويحولها إلى تمثيل رقمي عالي الأبعاد يلتقط معنى الكلمات وعلاقاتها النحوية. ثم يتلقى فك التشفير هذا التمثيل ويولد الجملة الإنجليزية المقابلة. إذا كان النظام يستخدم آلية انتباه، يمكن لفك التشفير 'النظر إلى الوراء' في أجزاء محددة من المدخلات اليابانية أثناء توليد كل كلمة إنجليزية، مما يضمن دقة عالية حتى في الجمل المعقدة.
أخطاء شائعة
- الخلط بين بنية المُشفّر-فك التشفير وشبكة التغذية الأمامية البسيطة؛ فهي تتعامل تحديداً مع البيانات التسلسلية أو المهيكلة.
- افتراض أن المُشفّر وفك التشفير يجب أن يستخدموا نفس النوع من طبقات الشبكة العصبية (على سبيل المثال، من الممكن استخدام مُشفّر RNN مع فك تشفير Transformer).
- إهمال أهمية حجم متجه السياق، مما قد يؤدي إلى فقدان المعلومات إذا كان صغيراً جداً بالنسبة لتعقيد المدخلات.
- التغاضي عن الحاجة إلى آليات الانتباه، والتي تكون مطلوبة دائماً تقريباً للتطبيقات الحديثة عالية الأداء.
الأسئلة الشائعة
كيف يختلف هذا عن المُشفّر التلقائي (Autoencoder)؟
بينما يستخدم كلاهما بنية المُشفّر-فك التشفير، يُستخدم المُشفّر التلقائي عادةً للتعلم غير الخاضع للإشراف لإعادة بناء المدخلات الأصلية (على سبيل المثال، لإزالة الضجيج أو تقليل الأبعاد). في المقابل، عادةً ما يتم تصميم بنية المُشفّر-فك التشفير للتعلم الخاضع للإشراف لتعيين مدخلات إلى مخرجات مستهدفة مختلفة.
لماذا يُعتبر 'متجه السياق' عنق زجاجة؟
في النماذج القديمة، كان يجب ضغط تسلسل الإدخال بأكمله في متجه واحد ثابت الطول. إذا كانت المدخلات طويلة جداً أو معقدة، لم يتمكن النموذج من احتواء جميع المعلومات الضرورية في تلك المساحة المحدودة، مما أدى إلى ضعف الأداء في التسلسلات الطويلة.
هل المحولات (Transformers) مجرد مُشفّرات-فك تشفير؟
قدمت ورقة المحولات الأصلية بنية مُشفّر-فك تشفير محددة. ومع ذلك، فإن العديد من النماذج الحديثة هي 'فك تشفير فقط' (مثل GPT) أو 'مُشفّر فقط' (مثل BERT)، اعتماداً على ما إذا كانت المهمة تتطلب توليد تسلسلات أو فهمها وتصنيفها.