프롬프트 캐싱, 처음 도입할 때 알아둬야 하는 7가지
지난 글에서 Agent 운영의 토큰 종류를 다섯 가지로 쪼개 정리했다. 그 글 마지막에 이렇게 약속했다. “다음 글은 토큰값을 진짜로 이해하고 나서 시작한 프롬프트 캐싱 실험이다.” 그런데 실험에 들어가기 전에 한 번 짚고 가야 할 게 있었다. “캐싱이라는 게 정확히 뭘 캐싱하는 거지?” 이름만 들으면 다 안다고 착각하기 쉬운 개념이다. 필자도 한참 동안 “시스템 프롬프트를 어딘가에 … 더 읽기