Hugging Face, TorchTPU로 PyTorch 모델의 TPU 네이티브 실행 지원

Hugging Face가 TorchTPU를 통해 Transformers·Diffusers·Kernels의 TPU 네이티브 실행을 지원한다고 밝혔다. torch_xla로 코드를 옮기지 않고 TPU를 장치로 지정하며, torch.compile과 분산 실행도 지원한다. 다만 TPU에서 실행한 테스트의 통과율은 96.5%로, 호환성 개선은 진행 중이다.

내용·출처 업데이트 · 2026. 10. 21. 오전 12:41

TorchTPU는 PyTorch에 TPU 백엔드를 추가하며, Transformers·Diffusers 실행에 Optimum TPU가 더 이상 필요하지 않다고 설명했다.

Transformers는 device_map="tpu", Diffusers의 eager 실행은 pipe.to("tpu")로 장치를 지정한다.

Diffusers의 컴파일된 그래프는 같은 이미지 크기의 후속 호출에서 재사용한다. 텐서 병렬화는 지원되는 파이프라인에서 모델을 여러 칩에 나눠 적재한다.

Hugging Face 측정에서 TPU v6e-8·배치 64의 Hub 커널 디코딩 처리량은 기본 구현 대비 Qwen3-30B-A3B에서 21.5배, Gemma 4 26B-A4B에서 12.8배였다.

팀은 TorchTPU에 문제 34건을 보고했고 19건이 수정됐다고 밝혔다. TPU 야간 CI 구축은 진행 중이다.

기존 PyTorch 파이프라인을 유지하면서 Google Cloud TPU를 실행 환경으로 선택할 수 있어 별도 TPU용 코드 관리 부담을 줄인다.