Pulse 게시 ·

Arduino UNO Q 2GB로 빈티지 단말에서 오프라인 LLM 실행

Arduino가 10월 1일 Cameron Coward의 Termi3 프로젝트를 소개했다. UNO Q 2GB에서 Llama 3.2-1B를 로컬 실행하고, 1970년대 TI Silent 700 단말로 질문을 입력받아 답을 종이에 출력한다. 인터넷 연결은 필요 없지만 답의 정확성과 문장 일관성에는 한계가 있다고 설명했다.

이전 Termi 장치는 Wolfram Alpha API를 호출했지만 Termi3는 보드 안에서 답을 생성한다.

STM32의 비트뱅잉과 MAX3232 레벨 변환기를 거쳐 단말의 RS232 포트에 연결한다.

실행에 사용한 보드는 RAM 2GB 모델이며, 소형 모델의 응답 품질에는 한계가 있다.

Linux에서 추론하고 STM32에서 단말 통신을 처리해, 기존 RS232 장비를 로컬 AI의 입출력 장치로 활용했다.

원문

앞선 소식 보기