التضمين (Embedding)

آلية العمل والسياق

تعمل التضمينات عن طريق تعيين بيانات معقدة وعالية الأبعاد إلى مساحة متجه كثيفة ومنخفضة الأبعاد. في هذه المساحة، يتم وضع العناصر ذات المعاني أو الخصائص المتشابهة بالقرب من بعضها البعض، بينما يتم وضع العناصر غير المتشابهة بعيداً. على سبيل المثال، في نموذج تضمين النص، قد يكون متجه كلمة 'ملك' قريباً رياضياً من 'ملكة' و'عاهل' ولكنه بعيد عن 'تفاحة'. يتم تدريب هذه النماذج عادةً على مجموعات بيانات ضخمة لتعلم هذه العلاقات. ومع ذلك، فإن التضمينات هي تمثيلات ثابتة؛ فهي لا تلتقط بطبيعتها السياق الذي يتغير بناءً على الجملة المحيطة، ولهذا السبب غالباً ما تستخدم البنى الحديثة تمثيلات سياقية أكثر تقدماً.

لماذا هو مهم

فهي تمكن التوليد المعزز بالاسترجاع (RAG) من خلال السماح للأنظمة بالعثور بسرعة على سياق ذي صلة من قواعد بيانات ضخمة لتأسيس استجابات النماذج اللغوية الكبيرة. بدون التضمينات، سيكافح الذكاء الاصطناعي لفهم العلاقات بين المفاهيم، مما يجعل من المستحيل بناء محركات توصية فعالة، أو أدوات بحث دلالي، أو أنظمة محتوى مخصصة 'تفهم' حقاً قصد المستخدم.

مثال واقعي

تخيل موقع تجارة إلكترونية يستخدم التضمينات لتشغيل بحثه. عندما يبحث مستخدم عن 'أحذية شتوية مريحة'، يقوم النظام بتحويل هذا الاستعلام إلى متجه. ثم يقارن هذا المتجه مقابل المتجهات المحسوبة مسبقاً لجميع المنتجات في الكتالوج. حتى لو كان وصف المنتج لا يحتوي على كلمة 'مريحة'، يحدد النظام 'أحذية مبطنة بالصوف' كمطابقة دلالية لأن متجهاتها قريبة في مساحة التضمين.

أخطاء شائعة

• افتراض أن التضمينات قابلة للقراءة البشرية؛ فهي مصفوفات عالية الأبعاد تتطلب قواعد بيانات متجهات متخصصة للاستعلام عنها.
• الخلط بين التضمينات والترميز (tokenization)؛ الترميز هو عملية تقسيم النص إلى وحدات، بينما التضمينات هي التمثيل الرقمي لتلك الوحدات.
• إهمال تحديث التضمينات عند تغير البيانات الأساسية أو إصدار النموذج، مما يؤدي إلى نتائج بحث غير متسقة.
• معاملة التضمينات كحل 'مقاس واحد يناسب الجميع'؛ يتم تحسين نماذج مختلفة لأنواع بيانات مختلفة (مثل النص مقابل الصورة).

الأسئلة الشائعة