用 AI agent 重写 Spark UDF 实现
来自 NVIDIA Developer · 期号 2026-10-14
摘要
Spark 的 UDF 会破坏 GPU 加速管线，导致数据回退到 CPU 执行并产生传输开销。 NVIDIA 提供了三种重写方案：用 Spark SQL 表达式替换简单逻辑、通过 RapidsUDF 接口操作 GPU 列、或为复杂场景编写自定义 CUDA 内核。 cuDF skills for Apache Spark 将重写流程拆解为测试、转换、基准测试和优化四个反馈循环，由 AI agent 驱动。一家大型消费科技公司用此工作流转换了 30 多个生产 UDF，其中一个重写将 6000 亿行工作负载的算子耗时从 274.55 小时降至 12.78 小时，提速 22 倍。