사이트 안내와 개인정보 설정
Pulse 게시 ·

Hugging Face, Trainium 모델 호환성 조회 Space 소개

AWS Trainium 모델 호환성 조회에 관한 글이10월23일 게시됐다. Hugging Face의 torch-neuronx model support Space는 모델별 시험 결과와 실행 스크립트를 제공한다. 현재 텍스트 생성·이미지-텍스트 모델을 최대 Trainium2 장치4개에서 시험한다. PASS는32토큰 생성 검사 결과이며 처리량이나 장문 생성 성능을 보장하지 않는다.

내용·출처 업데이트 · 2026. 10. 28. 오전 12:10

Selected 화면에서 Hub 다운로드·인기 순위에 기반한 선택 모델을 볼 수 있다. Trending·Downloads 화면은 시험하지 않은 모델도 순위에 포함하며 제외 사유를 표시한다.

Neuron 컴파일러와 Transformers 버전별 결과, 사용한 Trainium 코어 수, 컴파일을 포함한 실행 시간과 최대 기기 메모리를 제공한다.

최대 Trainium2 장치4개·코어16개에 들어가는 모델을 시험한다. 단일 코어에서는 같은 체크포인트의 CPU 실행 토큰과 비교하며 분할 실행에서는 소형 판정 모델로 영어 문장의 유창성을 확인한다.

각 모델의 시험 환경과 패키지·run.py를 공개하고 같은 컴파일러가 만든 NEFF 그래프 캐시를 제공한다. 이 글이 TorchNeuron 자체의 새 출시일을 알린 것은 아니다.

결과는 공개 aws-neuron/torch-neuronx-model-support 데이터셋에 컴파일러·라이브러리 버전 조합별 Parquet 파일로 제공한다. 미시험은 비호환 판정과 다르다.

원문