NVIDIA, Spark UDF의 GPU 전환을 돕는 에이전트 스킬 공개

NVIDIA가 Spark 사용자 정의 함수(UDF)를 GPU에서 실행하도록 바꾸는 cuDF 에이전트 스킬을 소개했다. 테스트·변환·벤치마크·최적화를 단계별로 진행한다. 회사가 공개한 6000억 행 처리 사례에서는 한 UDF의 연산 시간이 274.55시간에서 12.78시간으로 줄었으며, 전체 작업의 가속률을 뜻하지는 않는다.

내용·출처 업데이트 · 2026. 10. 14. 오전 7:51

스킬과 프로젝트 템플릿은 GitHub에서 제공하며 테스트·벤치마크 도구와 빌드 설정을 포함한다.

단순 로직은 Spark SQL 표현식으로, 복잡한 로직은 RapidsUDF와 cuDF Java API로 전환한다. 필요하면 JNI로 사용자 정의 CUDA 커널을 호출한다.

NVIDIA에 따르면 한 소비자 기술 기업이 운영 중인 UDF 30개 이상을 전환하면서 기존 CPU 구현의 동작을 유지했다.

제시된 시간은 특정 UDF의 연산 시간이며, 해당 UDF는 3000개 이상의 작업에 영향을 주고 있었다.

GPU 파이프라인에서도 UDF가 CPU 실행과 데이터 왕복 전송을 유발하므로, 이 구간을 바꾸면 GPU를 추가하지 않고 병목을 줄일 수 있다.