باحثون يقدمون تقنية "التعافي الواعي بالكم" لنماذج اللغة الكبيرة المضغوطة

قدم باحثون من شركة Multiverse Computing تقنية "التعافي الواعي بالكم" (QAH)، وهي تقنية مصممة لاستعادة الأداء في نماذج اللغة الكبيرة (LLMs) التي خضعت لكل من الضغط الهيكلي والتكميم بـ 4 بت. غالباً ما تكافح الطرق التقليدية للحفاظ على الدقة بعد هذه العمليات، حيث تعتمد عادةً على التقطير من نقطة فحص مستعادة ذات دقة أقل. تعالج تقنية QAH هذا الأمر عن طريق التقطير مباشرة من النموذج المعلم الأصلي ذي الدقة الكاملة، بغض النظر عن البنية الأصغر للنموذج الطالب. في الاختبارات، تفوق نموذج بمعلمات 60B مضغوط من نموذج GPT-OSS بمعلمات 120B ومكمم إلى MXFP4 باستخدام QAH على نسخته الأصلية ذات الدقة الكاملة bfloat16 في 7 من أصل 9 معايير. أظهرت الطريقة قوة خاصة في الاستدلال طويل السياق والمهام الرياضية. بالإضافة إلى ذلك، أظهرت QAH استقراراً محسناً في التدريب مقارنة بالتدريب الواعي بالكم (QAT)، حيث وصلت إلى ذروة الأداء بشكل أسرع وتجنبت تدهور الأداء الذي لوحظ عند استمرار التدريب بعد النقطة المثلى. يوفر هذا النهج طريقة لنشر نماذج أصغر وأكثر كفاءة دون التضحية بقدرات البنية الأصلية الأكبر.