وكلاء NVIDIA للذكاء الاصطناعي يتيحون إعادة كتابة UDFs في Spark مع تسريع GPU

يستخدم ملحق NVIDIA cuDF لـ Apache Spark التوازي عبر GPU لتسريع أحمال عمل تحليلات البيانات، لكن الدوال المعرفة من قبل المستخدم (UDFs) تجبر خطوط الأنابيب على الرجوع إلى تنفيذ على CPU وتسبب عبء نقل البيانات. يمكن لإعادة كتابة الـ UDFs باستخدام بدائل متوافقة مع GPU القضاء على هذا الرجوع.

توفر مهارات cuDF من NVIDIA لـ Apache Spark سير عمل مدفوع بالوكيل يوجه الاختبار والتحويل والقياس والتحسين. يمكن إعادة كتابة الـ UDFs كعبارات Spark SQL، عبر واجهة برمجة تطبيقات RapidsUDF Java، أو باستخدام نوى CUDA مخصصة عبر JNI. تجاوزت السرعات المبلغ عنها 20×؛ قامت شركة تكنولوجيا استهلاكية كبرى بتحويل أكثر من 30 UDF إنتاجية، حيث خفضت إحدى عمليات إعادة الكتابة وقت المشغل من 274.55 إلى 12.78 ساعة عبر عبء عمل يضم 600 مليار صف.

يمكن للمطورين تثبيت مهارات cuDF من GitHub أو باستخدام أداة npx skill installer، واتباع دليل البدء أو جلسة قمة Data + AI للحصول على شرح مفصل. يتيح العملية المدعومة بالوكيل إعادة الكتابة في ساعات بدلاً من أيام، مما يساعد المتعلمين على استكشاف تسريع GPU في خطوط أنابيب Spark.