LLM비용

비용과 보안 때문에 직접 작은 모델을 만들어보기로 했다 – 『원하는 대로 튜닝하는 나만의 sLLM』

작성자:
원하는 대로 튜닝하는 나만의 sLLM 책 표지

상용 LLM API의 비용과 금융권 보안을 고민하던 핀테크 AI 개발자가 직접 작은 모델을 만들어보기로 했다. LoRA·QLoRA부터 양자화, RAG, FastAPI 배포까지 하반기 앱 챗봇 개발을 위해 읽은 실전 입문서.

프롬프트 캐싱, 진짜 손익분기는 어디인가 – Opus 4.7로 60번 호출해서 측정한 비용 곡선

작성자:

지난 글에서 프롬프트 캐싱을 처음 도입할 때 알아둘 7가지를 정리했다. 그 글 마지막에 이렇게 약속했다. “같은 시스템 프롬프트를 캐싱 없이 / 5분 TTL / 1시간 TTL로 각각 N번 호출하면서 누적 비용이 어떻게 갈라지는지 직접 측정한다.” 약속한 실험을 돌렸다. 같은 prefix를 세 가지 모드로 각 20번, 총 60번 호출했다. 먼저 결론부터 던지면 이렇다. 같은 작업을 캐싱 … 더 읽기

프롬프트 캐싱, 처음 도입할 때 알아둬야 하는 7가지

작성자:

지난 글에서 Agent 운영의 토큰 종류를 다섯 가지로 쪼개 정리했다. 그 글 마지막에 이렇게 약속했다. “다음 글은 토큰값을 진짜로 이해하고 나서 시작한 프롬프트 캐싱 실험이다.” 그런데 실험에 들어가기 전에 한 번 짚고 가야 할 게 있었다. “캐싱이라는 게 정확히 뭘 캐싱하는 거지?” 이름만 들으면 다 안다고 착각하기 쉬운 개념이다. 필자도 한참 동안 “시스템 프롬프트를 어딘가에 … 더 읽기