Arduino UNO Q로 1970년대 종이 단말기에 오프라인 LLM 연결

Arduino가 10월 1일 Cameron Coward의 Termi3 제작 사례를 소개했다. 2GB UNO Q에서 Llama 3.2-1B를 로컬 실행해, 1970년대 TI Silent 700 단말기에 입력한 질문의 답을 감열지로 출력한다. 인터넷 없이 작동하지만 답이 부정확하거나 앞뒤가 맞지 않을 수 있다.

대상 단말기는 Texas Instruments Silent 700 Model 745로, 키보드 입력과 감열지 출력을 사용하는 장비다.

앞선 두 버전은 Wolfram Alpha API로 답을 받아 인터넷 연결이 필요했다.

Termi3는 STM32 측 비트뱅잉과 MAX3232 전압 변환기를 통해 단말기의 RS232 포트에 연결한다.

새 보드 출시 발표가 아니라 기존 하드웨어를 활용한 제작 사례다.

Linux에서 모델을 실행하고 STM32에서 직렬 통신을 처리해, 추론과 구형 장비 연결을 한 보드의 두 실행 환경에 나눴다.