프롬프트 캐싱, 처음 도입할 때 알아둬야 하는 7가지

지난 글에서 Agent 운영의 토큰 종류를 다섯 가지로 쪼개 정리했다. 그 글 마지막에 이렇게 약속했다. “다음 글은 토큰값을 진짜로 이해하고 나서 시작한 프롬프트 캐싱 실험이다.” 그런데 실험에 들어가기 전에 한 번 짚고 가야 할 게 있었다. “캐싱이라는 게 정확히 뭘 캐싱하는 거지?” 이름만 들으면 다 안다고 착각하기 쉬운 개념이다. 필자도 한참 동안 “시스템 프롬프트를 어딘가에 … 더 읽기

Orchestrator는 Agent가 아니다

멀티 에이전트에서 ‘통제자’의 역할을 분리하며 배운 것들 지난 글에서 State와 Message Bus의 역할을 혼동하며 겪었던 혼란을 정리했다. 그 글 마지막에 이렇게 썼다. “다음 글에서는 이 State를 누가 관리해야 하는지, 이 역할의 경계를 중심으로 정리해보려 한다. 이번 글은 그 이야기다. 1. “누가 이걸 결정한 거지?”가 반복되는 순간 멀티 에이전트를 만들다 보면 처음에는 역할 분담이 깔끔해 보인다. … 더 읽기