Anemll, iPhone 18에서 Qwen 3.8-27B 실행·24K 문맥 지원 보고

Anemll이 iPhone 18의 Apple Neural Engine에서 양자화한 Qwen 3.8-27B를 실행했다고 밝혔다. 초안 모델을 추가한 구성에서 디코딩 속도는 초당 15~60토큰, 예측하기 쉬운 문맥에서는 최대 70토큰이라고 보고했다. K·V 캐시를 int8로 둔 24K 문맥도 지원하며 Delta net은 FP16을 유지한다.

내용·출처 업데이트 · 2026. 10. 18. 오전 5:40

기본 모델은 PrismML Bonsai-2이며, 가중치당 1.585비트에서 1.5비트로 재양자화했다고 설명했다.

초안 모델 dflash-2에는 2~4비트 혼합 벡터 양자화를 적용해 가중치당 약 2.8비트로 구성했다.

초안 모델의 토큰 수락률은 소폭 하락했다고 설명했으며 구체적인 수치는 제시하지 않았다.

초당 70토큰은 예측하기 쉬운 문맥에서의 최대 디코딩 속도로 보고했다.