مصطلحًا
التقطيع (Chunking)
- الفئة
- RAG, Embeddings & Search
- الصعوبة
- متوسط
التعريف
التقطيع هو عملية تقسيم كتل كبيرة من النصوص إلى أجزاء أصغر ذات معنى دلالي لتسهيل التخزين والفهرسة والاسترجاع الفعال داخل قواعد بيانات المتجهات وأنظمة التوليد المعزز بالاسترجاع (RAG).
آلية العمل والسياق
في سياق التوليد المعزز بالاسترجاع (RAG)، يعد التقطيع خطوة أساسية للمعالجة المسبقة. تمتلك النماذج اللغوية الكبيرة نوافذ سياق محدودة، مما يعني أنها لا تستطيع معالجة كميات غير محدودة من البيانات في وقت واحد. من خلال تقسيم المستندات إلى أجزاء أصغر، يمكن للأنظمة إجراء عمليات بحث عن التشابه للعثور فقط على المعلومات الأكثر صلة باستعلام معين. يتطلب التقطيع الفعال موازنة الحجم والسياق؛ إذا كانت الأجزاء صغيرة جداً، فقد تفتقر إلى المعنى الكافي، ولكن إذا كانت كبيرة جداً، فقد تحتوي على ضوضاء غير ذات صلة تخفف من الإشارة الدلالية. تشمل الاستراتيجيات الشائعة التقطيع ثابت الحجم، والتقسيم المتكرر للأحرف، والتقطيع الدلالي، الذي يستخدم نماذج التضمين لتحديد الفواصل الطبيعية في المعنى. يؤثر اختيار الاستراتيجية بشكل كبير على دقة وأداء استجابة الذكاء الاصطناعي النهائية.
لماذا هو مهم
يعد التقطيع ضرورياً لأنظمة RAG لأنه يحدد بشكل مباشر جودة السياق المسترجع. بدون تقطيع مناسب، قد يسترجع النظام بيانات غير ذات صلة أو يغفل معلومات مهمة، مما يؤدي إلى هلوسة أو إجابات منخفضة الجودة. إنه يسمح للمطورين بتحسين التوازن بين دقة الاسترجاع وكمية المعلومات المقدمة للنموذج اللغوي الكبير، مما يضمن بقاء الذكاء الاصطناعي مركزاً ودقيقاً وفعالاً من حيث التكلفة في استدلاله.
مثال واقعي
تخيل شركة تبني روبوت دعم عملاء يعتمد على RAG باستخدام دليل فني مكون من 500 صفحة. إذا قام النظام بتغذية الدليل بالكامل في النموذج اللغوي الكبير، فسوف يتجاوز حد السياق ويصبح مشوشاً. باستخدام التقطيع، يقوم النظام بتقسيم الدليل إلى فقرات صغيرة خاصة بموضوع معين. عندما يسأل مستخدم عن "استبدال البطارية"، يسترجع النظام فقط الجزء المحدد الذي يحتوي على تلك التعليمات، مما يوفر إجابة دقيقة وصحيحة.
أخطاء شائعة
- استخدام عدد أحرف ثابت دون مراعاة حدود الجمل أو الفقرات، مما يؤدي غالباً إلى نصوص مجزأة وغير مفهومة.
- تجاهل أهمية التداخل، مما قد يتسبب في فقدان السياق بين الأجزاء المتجاورة.
- الفشل في مراعاة متطلبات الاسترجاع المحددة للتطبيق، مثل الحاجة إلى أجزاء أكبر لمهام التلخيص مقابل أجزاء أصغر لاسترجاع الحقائق.
- معاملة جميع أنواع المستندات بنفس استراتيجية التقطيع، بغض النظر عن هيكلها أو كثافة محتواها.
الأسئلة الشائعة
كيف أحدد حجم التقطيع الأمثل؟
يعتمد الحجم الأمثل على حالة الاستخدام المحددة ونموذج التضمين المستخدم. بشكل عام، ابدأ بحجم يلتقط فكرة أو موضوعاً كاملاً، ثم اختبر دقة الاسترجاع. الأجزاء الأصغر أفضل للبحث عن حقائق محددة، بينما الأجزاء الأكبر أفضل لالتقاط سياق أوسع.
ما الفرق بين التقطيع ثابت الحجم والتقطيع الدلالي؟
يقوم التقطيع ثابت الحجم بتقسيم النص بناءً على عدد محدد من الأحرف أو الرموز، وهو سريع حسابياً ولكنه قد يقطع الجمل في منتصف الفكرة. يستخدم التقطيع الدلالي الذكاء الاصطناعي لتحديد الفواصل الطبيعية في المعنى، مما ينتج عنه أجزاء أكثر تماسكاً على حساب وقت معالجة أطول.
هل يؤثر التقطيع على تكلفة استخدام النماذج اللغوية الكبيرة؟
نعم. نظراً لأن النماذج اللغوية الكبيرة تفرض رسوماً بناءً على عدد الرموز المعالجة، يسمح لك التقطيع بإرسال الأجزاء الأكثر صلة فقط إلى النموذج، مما يقلل التكاليف بشكل كبير مقارنة بإرسال مستندات كاملة.