مصطلحًا
التشفير الموضعي (Positional Encoding)
- الفئة
- Neural Networks & Architectures
- الصعوبة
- متوسط
التعريف
تقنية تستخدم في بنيات المحولات (Transformer) لحقن معلومات حول الموضع النسبي أو المطلق للرموز في تسلسل داخل تضمينات إدخال النموذج.
آلية العمل والسياق
على عكس الشبكات العصبية المتكررة (RNNs) التي تعالج البيانات بشكل تسلسلي، تعالج نماذج المحولات (Transformer) تسلسلات كاملة بالتوازي. في حين أن هذا يحسن سرعة التدريب بشكل كبير، فإنه يزيل وعي النموذج المتأصل بترتيب الكلمات. يحل التشفير الموضعي هذه المشكلة عن طريق إضافة متجه فريد إلى كل تضمين إدخال، يمثل موضعه داخل التسلسل. يتم إنشاء هذه المتجهات عادةً باستخدام دوال الجيب وجيب التمام بترددات مختلفة، مما يسمح للنموذج بتعلم المواضع النسبية بفعالية. من خلال الجمع بين المعنى الدلالي للكلمة وسياقها الموضعي، يمكن للنموذج التمييز بين جمل مثل 'عض الكلب الرجل' و 'عض الرجل الكلب'. بدون هذه الآلية، سيعامل النموذج المدخلات كـ 'حقيبة كلمات'، مما يفقد العلاقات النحوية والدلالية الحاسمة التي يحددها ترتيب الكلمات.
لماذا هو مهم
يعد التشفير الموضعي أساسياً لنجاح النماذج اللغوية الكبيرة (LLMs) الحديثة. نظراً لأن المحولات تعتمد على آليات الانتباه الذاتي التي لا تتأثر بالتبديل، فإنها لن تكون قادرة على تفسير بنية اللغة بدون إشارات موضعية صريحة. تسمح هذه التقنية للنماذج بالحفاظ على التماسك في النصوص الطويلة، وفهم التبعيات النحوية المعقدة، وإجراء ترجمة دقيقة، مما يجعلها حجر الزاوية في قدرات الذكاء الاصطناعي التوليدي الحالية.
مثال واقعي
تخيل نموذج ترجمة يعالج الجملة 'The cat chased the mouse'. بدون التشفير الموضعي، قد يخلط النموذج بين الفاعل والمفعول به، مما قد يترجمها على أنها 'The mouse chased the cat'. من خلال حقن المعلومات الموضعية، يدرك النموذج أن 'cat' تظهر في الفهرس 1 و 'mouse' في الفهرس 5، مما يضمن بقاء الأدوار الدلالية معينة بشكل صحيح أثناء عملية الترجمة.
أخطاء شائعة
- افتراض أن التشفير الموضعي يستخدم فقط في النصوص؛ فهو حيوي بنفس القدر لرقع الصور في محولات الرؤية (ViTs).
- الخلط بين التشفير الموضعي والتضمينات الموضعية؛ بينما يخدم كلاهما نفس الغرض، غالباً ما تكون التشفيرات دوالاً رياضية ثابتة، بينما التضمينات هي معاملات متعلمة.
- الاعتقاد بأن المحولات لا يمكن أن تعمل بدونه؛ يمكنها ذلك، لكنها تفقد القدرة على فهم ترتيب التسلسل، مما يجعلها غير فعالة لمعظم مهام اللغة.
الأسئلة الشائعة
لماذا نستخدم دوال الجيب وجيب التمام بدلاً من مجرد تعيين فهرس عدد صحيح بسيط؟
يسمح استخدام دوال الجيب وجيب التمام للنموذج بالاستقراء إلى أطوال تسلسل أطول من تلك التي شوهدت أثناء التدريب ويساعد النموذج على تعلم المواضع النسبية بسهولة أكبر من خلال التحويلات الخطية.
هل يغير التشفير الموضعي المعنى الدلالي لرموز الإدخال؟
لا، يتم إضافته إلى تضمين الرمز لتوفير السياق، لكنه لا يغير المتجه الدلالي الأساسي للكلمة نفسها.
هل توجد بدائل للتشفير الموضعي القياسي؟
نعم، غالباً ما تستخدم البنيات الحديثة تضمينات موضعية دوارة (RoPE) أو انحياز موضعي نسبي، وهي أكثر كفاءة في التقاط العلاقة بين الرموز بغض النظر عن موضعها المطلق.