Neuralwatt, 에이전트 프롬프트 캐시 누락 시 GPU 에너지 약 2배 관측

Neuralwatt가 자체 클라우드 분석에서 모델·입력 크기·출력 길이를 맞췄을 때 캐시가 거의 없는 요청의 GPU 에너지가 캐시된 요청의 약 2배였다고 밝혔다. GLM-5.3에서는 약 2.5배였다. 별도 에이전트 재현 시험에서는 이전 프롬프트를 수정하는 동작이 모든 캐시 단절의 원인이었다.

내용·출처 업데이트 · 2026. 10. 17. 오전 8:11

에너지 비교는 10월 1~7일 약 5만 토큰 입력과 유사한 출력 길이의 요청을 대상으로 했다. 캐시 누락은 입력의 캐시 비율이 10% 미만인 요청으로 정의했다.

측정치는 요청별로 배분한 GPU 에너지이며 데이터센터 전체 전력 사용량은 아니다.

OpenCode·Pi·omp·Kilo Code의 재현 시험에서 후속 요청 539건 중 65건이 캐시를 끊었고, 모두 하네스가 앞서 보낸 내용을 변경한 경우였다.

OpenCode 2.x는 계획 모드 알림을 별도 메시지에 유지해 1.x에서 관측한 반복 재계산을 피했다.

실서비스의 재계산에는 프롬프트 수정뿐 아니라 메모리 압박에 따른 캐시 퇴거도 포함돼 원인을 모두 구분할 수는 없었다.

12만8000토큰을 넘는 세션에서 프롬프트 절반 이상을 다시 읽는 턴은 약 1000건 중 3건이었지만, 해당 깊이의 재계산 토큰 중 75%를 차지했다.

긴 세션에서는 추론 강도·MCP·스킬을 초기에 정하고, 상태 변경을 기존 메시지 수정 대신 끝에 덧붙이는 방식이 캐시 재사용에 유리하다.