مكتبة Sentence Transformers الإصدار 6.0 تضيف دعم المشفر متعدد المتجهات

أصدرت مكتبة Sentence Transformers بلغة بايثون تحديث الإصدار 6.0، الذي يقدم MultiVectorEncoder. يدعم هذا النوع الجديد من النماذج استرجاع التفاعل المتأخر بأسلوب ColBERT، وهي طريقة تحافظ على إشارات دقيقة على مستوى الرموز (token-level) من خلال تسجيل الاستعلامات مقابل المستندات باستخدام معامل MaxSim. يهدف هذا النهج إلى تحسين أداء الاسترجاع مقارنة بنماذج التضمين الكثيفة التقليدية التي تضغط النص في متجه واحد. يمكن للمستخدمين الآن ضبط النماذج متعددة المتجهات الحالية أو بناء نماذج جديدة من المحولات الأساسية. يسمح التحديث بتكوينات مخصصة، مثل تعديل حدود طول المستند وتنفيذ قوائم تخطي علامات الترقيم لتحسين الفهرسة. وفقاً للوثائق، يمكن أن يساعد الضبط الدقيق الخاص بالمجال النماذج على التكيف مع المفردات المتخصصة وأطوال المستندات التي قد لا تتعامل معها أدوات الاسترجاع العامة بفعالية. توفر المكتبة نهجاً منظماً للتدريب، بما في ذلك مكونات لمجموعات البيانات، ووظائف الخسارة، والمقيمين، مما يمكن المطورين من بناء وتحسين النماذج بناءً على بياناتهم الخاصة.