openTPU, FPGA 추론 가속기의 설계·컴파일러·시뮬레이터 소스 제공

openTPU가 FPGA용 AI 가속기의 하드웨어 설계·컴파일러·시뮬레이터를 Apache 2.0으로 제공한다. 개발팀은 9월 29일~10월 1일 실물 카드에서 모델 10종을 측정했고, 시뮬레이터와 같은 토큰을 생성했다고 밝혔다. LFM2.5-230M의 4비트 구성은 512토큰 입력 뒤 64토큰 생성 시험에서 호스트 시간을 포함해 초당 82.1토큰을 기록했다.

SystemVerilog 하드웨어 설계, 명령어 집합, 비트 단위 시뮬레이터, 커널 언어·컴파일러, PCIe 호스트 소프트웨어를 한 저장소에 담았다.

실물 시험에는 Xilinx Kintex-7 기반 Inspur YPCB-00338 카드와 DDR3 채널 2개를 사용했다.

초당 82.1토큰 수치는 4비트 가중치·int8 출력 헤드 구성에서 호스트의 argmax 처리를 포함한 시간 기준이다.

4비트 양자화는 메모리 전송량을 줄이지만 모델별 perplexity 저하가 있으며, 관련 문서에 결과를 제시한다.

ISA·시뮬레이터·RTL 변경은 테스트 통과를 요구하며, 대부분의 기여 작업은 Python과 Verilator만으로 가능하다.

FPGA 없이도 노트북에서 시뮬레이터를 실행해 커널이 명령어와 하드웨어 동작으로 이어지는 과정을 살펴볼 수 있다.