مكتبة Sentence Transformers تضيف دعمًا لمشفر المتجهات المتعددة

أصدرت مكتبة Sentence Transformers بلغة بايثون الإصدار 6.0، الذي يقدم نوع نموذج جديد يسمى MultiVectorEncoder. يسمح هذا التحديث للمستخدمين بتحميل واستخدام نماذج استرجاع التفاعل المتأخر (late interaction) بنمط ColBERT مباشرة من خلال واجهة برمجة التطبيقات الحالية للمكتبة. يدعم المشفر الجديد نقاط فحص متنوعة، بما في ذلك تلك الخاصة بـ PyLate، وStanford-NLP ColBERT، ونماذج عائلة ColPali لاسترجاع المستندات المرئية. على عكس نماذج التضمين الكثيفة التقليدية التي تضغط النص في متجه واحد، تحتفظ نماذج المتجهات المتعددة بمتجه واحد لكل رمز (token). يستخدم هذا النهج معامل MaxSim لمقارنة رموز الاستعلام والمستند، مما قد يحسن جودة الاسترجاع للاستعلامات المعقدة أو البيانات خارج النطاق. في حين توفر هذه الطريقة دقة متزايدة من خلال الحفاظ على المعلومات على مستوى الرمز، فإنها تتطلب مساحة تخزين أكبر بكثير للفهارس مقارنة بنماذج المتجه الواحد. يهدف التحديث إلى تبسيط دمج هذه النماذج في حزم البحث، وتوفير واجهة موحدة للمطورين الذين يعملون مع بنيات الاسترجاع الكثيفة والمتفرقة وذات التفاعل المتأخر.