Los agentes de IA de NVIDIA permiten reescrituras de UDF de Spark aceleradas por GPU
El complemento cuDF de NVIDIA y las habilidades de agentes de IA permiten a los desarrolladores reescribir UDF de Spark para ejecución en GPU, ofreciendo más de 20× de aceleración.
Publicación de la fuente original: 13 de octubre de 2026
El complemento cuDF de NVIDIA para Apache Spark utiliza el paralelismo GPU para acelerar cargas de trabajo de análisis de datos, pero las funciones definidas por el usuario (UDF) obligan a que los pipelines vuelvan a la ejecución en CPU y generan sobrecarga de transferencia de datos. Reescribir las UDF con primitivas compatibles con GPU puede eliminar esta retroceso.
Las habilidades cuDF de NVIDIA para Apache Spark proporcionan un flujo de trabajo impulsado por agentes que guía pruebas, conversión, benchmarking y optimización. Las UDF pueden reescribirse como expresiones Spark SQL, a través de la API Java RapidsUDF, o con kernels CUDA personalizados mediante JNI. Las mejoras de velocidad reportadas superan 20×; una importante empresa de tecnología de consumo convirtió más de 30 UDF de producción, con una reescritura que redujo el tiempo de operación de 274.55 a 12.78 horas en una carga de trabajo de 600 mil millones de filas.
Los desarrolladores pueden instalar las habilidades cuDF desde GitHub o con el instalador de habilidades npx, y seguir la guía de inicio rápido o la sesión del Data + AI Summit para una demostración detallada. El proceso asistido por agentes permite reescrituras en horas en lugar de días, ayudando a los aprendices a explorar la aceleración GPU en pipelines de Spark.