AI 모델 이름에 24B와 2B가 함께 붙는 이유
Liquid AI의 LFM2.5-24B-A2B는 공식 모델 카드 기준 전체 파라미터가 240억 개, 토큰마다 활성화되는 파라미터가 24억5000만 개다. 이름의 24B는 전체 크기, A2B는 대략적인 활성 크기를 나타낸다. 로컬 모델을 고를 때 두 숫자를 구분해 읽을 이유다.
공개 발표는 이 모델을 도구 호출과 여러 단계의 작업을 위한 로컬 추론 모델로 소개한다. 전체·활성 파라미터 수만으로 내 기기의 메모리 사용량이나 실행 속도를 확정할 수는 없다.
공급사 시험에서는 M5 Max에서 llama.cpp, Q4_K_M 양자화, 4K 입력 조건으로 초당 184토큰의 디코딩 속도를 보고했다. B300의 초당 2만1000토큰 이상은 높은 동시 요청 조건의 출력 처리량이다. 시험 조건과 집계 방식이 달라 한 요청의 응답 속도로 직접 비교할 수 없다.
원문 읽기