آلية الانتباه

آلية العمل والسياق

تم تطوير آلية الانتباه للتغلب على قيود بنيات معالجة التسلسل السابقة مثل الشبكات العصبية المتكررة (RNNs)، التي كافحت للحفاظ على التبعيات طويلة المدى في البيانات. من خلال حساب مجموعة من 'درجات الانتباه'، يخصص النموذج وزناً لكل عنصر إدخال بالنسبة لنقطة التركيز الحالية. يسمح هذا للنظام بـ 'الانتباه' إلى معلومات بعيدة ولكنها مهمة سياقياً بغض النظر عن موقعها في التسلسل. التطور الأكثر بروزاً لهذا المفهوم هو آلية 'الانتباه الذاتي' المستخدمة في بنيات المحولات (Transformers)، والتي تسمح لكل كلمة في جملة بالتفاعل مع كل كلمة أخرى في وقت واحد. على الرغم من فعاليتها العالية، إلا أن آليات الانتباه مكلفة حسابياً، حيث تزداد متطلبات الذاكرة والمعالجة بشكل تربيعي مع طول تسلسل الإدخال، مما يخلق مقايضة كبيرة للمستندات الطويلة جداً.

لماذا هو مهم

آليات الانتباه هي المحرك وراء الذكاء الاصطناعي التوليدي الحديث، بما في ذلك النماذج اللغوية الكبيرة (LLMs). من خلال تمكين النماذج من فهم العلاقات المعقدة والفروق الدقيقة داخل البيانات، فإنها تسمح بتوليد نصوص متماسكة، وترجمة دقيقة، وتفكير متطور. بدون هذه الآلية، سيفتقر الذكاء الاصطناعي إلى الوعي السياقي المطلوب للتعامل مع المحتوى الطويل أو الحفاظ على الاتساق عبر المهام المعقدة ومتعددة الخطوات.

مثال واقعي

عندما يعالج نموذج ترجمة جملة 'The animal didn't cross the street because it was too tired'، تساعد آلية الانتباه النموذج على ربط كلمة 'it' تحديداً بـ 'animal' بدلاً من 'street'. من خلال تخصيص وزن انتباه أعلى لـ 'animal'، يفسر النموذج السياق بشكل صحيح، مما يضمن أن الترجمة تعكس المعنى المقصود بدلاً من تفسير حرفي غامض.

أخطاء شائعة

• الخلط بين الانتباه والذاكرة؛ الانتباه هو آلية ترجيح، وليس نظام تخزين.
• افتراض أن آليات الانتباه مخصصة للنص فقط؛ فهي حيوية بنفس القدر في الرؤية الحاسوبية وتحليل الصوت.
• الاعتقاد بأن الانتباه هو خوارزمية واحدة؛ إنه مفهوم معماري واسع مع العديد من الاختلافات مثل الانتباه متعدد الرؤوس أو الانتباه المتقاطع.

الأسئلة الشائعة