A Sentence Transformers könyvtár többvektoros kódoló támogatással bővült

A Sentence Transformers Python könyvtár kiadta a 6.0-s verziót, amely egy új modelltípust, a MultiVectorEncoder-t mutatja be. Ez a frissítés lehetővé teszi a felhasználók számára, hogy a ColBERT-stílusú késleltetett interakciós lekérési modelleket közvetlenül a könyvtár meglévő API-ján keresztül töltsék be és használják. Az új kódoló különféle ellenőrzőpontokat támogat, beleértve a PyLate, a Stanford-NLP ColBERT és a ColPali-család modelljeit a vizuális dokumentumlekéréshez.

Ellentétben a hagyományos sűrű beágyazási modellekkel, amelyek a szöveget egyetlen vektorba tömörítik, a többvektoros modellek tokenenként egy vektort tartanak meg. Ez a megközelítés a MaxSim operátort használja a lekérdezési és dokumentumtokenek összehasonlítására, ami javíthatja a lekérési minőséget összetett lekérdezések vagy tartományon kívüli adatok esetén. Bár ez a módszer a token szintű információk megőrzésével nagyobb pontosságot kínál, jelentősen több tárhelyet igényel az indexek számára az egyvektoros modellekhez képest. A frissítés célja, hogy egyszerűsítse ezen modellek integrációját a keresési veremekbe, egységes felületet biztosítva a sűrű, ritka és késleltetett interakciós lekérési architektúrákkal dolgozó fejlesztők számára.