캐싱

지난 글에서 프롬프트 캐싱을 처음 도입할 때 알아둘 7가지를 정리했다. 그 글 마지막에 이렇게 약속했다. “같은 시스템 프롬프트를 캐싱 없이 / 5분 TTL / 1시간 TTL로 각각 N번 호출하면서 누적 비용이 어떻게 갈라지는지 직접 측정한다.” 약속한 실험을 돌렸다. 같은 prefix를 세 가지 모드로 각 20번, 총 60번 호출했다. 먼저 결론부터 던지면 이렇다. 같은 작업을 캐싱 … 더 읽기