الذكاء الاصطناعي متعدد الوسائط

آلية العمل والسياق

على عكس النماذج أحادية الوسائط، التي تقتصر على نوع إدخال واحد (مثل نموذج لغوي كبير نصي فقط أو مصنف صور فقط)، يتم تدريب بنى الذكاء الاصطناعي متعدد الوسائط لتعيين أنواع بيانات متباينة في مساحة كامنة مشتركة. يسمح هذا للنموذج بإنشاء علاقات دلالية بين مدخلات حسية مختلفة. على سبيل المثال، يمكن لنظام متعدد الوسائط تحليل ملف فيديو من خلال ربط الإطارات المرئية بمسار الصوت المصاحب والنص المكتوب. ومع ذلك، تواجه هذه الأنظمة تحديات كبيرة، بما في ذلك التكلفة الحسابية العالية لمعالجة مجموعات بيانات كبيرة وغير متجانسة وصعوبة ضمان التوافق بين الوسائط، مما قد يؤدي إلى تناقضات إذا كان أحد تدفقات البيانات صاخباً أو متناقضاً.

لماذا هو مهم

إنه يتيح اختراقات في مجالات مثل القيادة الذاتية، حيث يجب على المركبات معالجة البيانات المرئية وبيانات الليدار وأجهزة الاستشعار؛ والرعاية الصحية، حيث يحلل الذكاء الاصطناعي التصوير الطبي جنباً إلى جنب مع سجلات المرضى؛ والتفاعل بين الإنسان والحاسوب، مما يسمح للمستخدمين بالتواصل مع الذكاء الاصطناعي من خلال الصوت والإيماءات والمراجع المرئية بدلاً من مجرد الكتابة.

مثال واقعي

فكر في تطبيق إمكانية وصول مدعوم بالذكاء الاصطناعي للمستخدمين ضعاف البصر. يوجه المستخدم كاميرا هاتفه الذكي نحو بيئة معقدة، مثل زاوية شارع مزدحمة. يعالج النموذج متعدد الوسائط بث الفيديو المباشر لتحديد العوائق، وقراءة لافتات الشوارع، والاستماع إلى أصوات حركة المرور المحيطة. ثم يقوم بتوليف هذه المعلومات لتقديم وصف منطوق في الوقت الفعلي للمحيط، مما يساعد المستخدم على التنقل بأمان من خلال دمج البيانات المرئية والسمعية والمكانية.

أخطاء شائعة

• خلط الذكاء الاصطناعي متعدد الوسائط بـ "تسلسل النماذج" البسيط، حيث يتم ربط نماذج أحادية الوسائط منفصلة معاً بدلاً من دمجها في بنية واحدة.
• افتراض أن النماذج متعددة الوسائط أكثر دقة بطبيعتها من النماذج أحادية الوسائط؛ في العديد من المهام المحددة، قد لا يزال النموذج أحادي الوسائط المتخصص يتفوق على النموذج متعدد الوسائط العام.
• التغاضي عن آثار خصوصية البيانات المترتبة على معالجة البيانات المرئية أو الصوتية الحساسة جنباً إلى جنب مع النص.

الأسئلة الشائعة