NVIDIA AI ügynökök lehető végez a GPU‑gyorsított Spark UDF‑ek átírását
A NVIDIA cuDF plugin és AI‑ügynök készségek lehetővé teszik a fejlesztők számára, hogy átírják a Spark UDF‑eket GPU végrehajtásra, több mint 20‑szörös gyorsulást biztosítva.
Az eredeti forrás közzétételi dátuma: 2026. október 13.
A NVIDIA cuDF plugin az Apache Spark-hez GPU párhuzamosságot használ az adat‑analitikai feladatok felgyorsítására, de a felhasználó által definiált függvények (UDF‑ek) a csővezetékeket visszairányítják a CPU végrehajtásra, és adat‑átviteli többletterhet okoznak. Az UDF‑ek GPU‑kompatibilis primitívekkel való átírása megszüntetheti ezt a visszatérést.
A NVIDIA cuDF készségek az Apache Spark-hez ügynök‑vezérelt munkafolyamatot biztosítanak, amely a tesztelés, konverzió, benchmark és optimalizálás során irányít. Az UDF‑ek átírhatók Spark SQL kifejezésekké, a RapidsUDF Java API‑n keresztül, vagy egyedi CUDA kernel‑ekkel JNI‑n keresztül. Jelentett gyorsulás meghaladja a 20×‑et; egy nagy fogyasztói technológiai vállalat több mint 30 termelési UDF‑t konvertált, egy átírás pedig 274,55 óráról 12,78 órára csökkentette a műveleti időt egy 600 milliárd soros munkaterületen.
A fejlesztők telepíthetik a cuDF készségeket a GitHub‑ról vagy az npx skill installer‑rel, és követhetik az induló útmutatót vagy a Data + AI Summit előadást a részletes bemutatóhoz. Az ügynök‑segített folyamat órák alatt, nem napok alatt teszi lehetővé az átírásokat, segítve a tanulókat a GPU‑gyorsítás felfedezésében a Spark csővezetékekben.