LLM

LLM(대규모 언어모델)을 실제 제품에 붙이며 남긴 기록. API 비용 최적화, 프롬프트 캐싱, 모델 선택, 토큰 계산처럼 현업에서 바로 부딪히는 문제를 1인칭 경험과 실측값으로 다룬다.

같은 뉴스가 30번 들어올 때, 효과적인 중복 제거 3단계

작성자:

외부 뉴스 소스 수십 개를 수집하는 파이프라인을 만들면서 수집보다 더 골치 아픈 문제가 따로 있었다. 같은 사건이 매체마다 제목만 살짝 바꿔서 들어온다. 연준이 금리를 올리면 그 한 사건이 30개 매체에서 30개의 제목으로 쏟아진다. “연준, 기준금리 0.25%p 인상”, “Fed 25bp 금리 인상 단행”, “미 연준 금리 또 올렸다”… 사람 눈엔 같은 사건이지만 문자열로는 전부 다르다. 이걸 … 더 읽기

수백 건의 뉴스를 LLM 코멘터리 한 편으로 – 출력 강제와 실패 기록

작성자:

외부 뉴스 소스 수십 개를 수집하는 파이프라인을 만들었다. 수집하고, 중복을 거르고, 죽은 소스를 끊어내고 나면 매일 깨끗한 뉴스 데이터가 출력되고 쌓인다. 그런데 거기서 한 가지 문제가 남았다. 데이터만 쌓아두면 아무도 안 읽는다. VSI 경보 몇 건, 과열 섹터 몇 개, 헤드라인 수백 줄. 이걸 표로 던져주면 그건 리포트가 아니라 로그 덤프다. 매일 아침 “그래서 오늘 … 더 읽기

프롬프트 캐싱, 진짜 손익분기는 어디인가 – Opus 4.7로 60번 호출해서 측정한 비용 곡선

작성자:

지난 글에서 프롬프트 캐싱을 처음 도입할 때 알아둘 7가지를 정리했다. 그 글 마지막에 이렇게 약속했다. “같은 시스템 프롬프트를 캐싱 없이 / 5분 TTL / 1시간 TTL로 각각 N번 호출하면서 누적 비용이 어떻게 갈라지는지 직접 측정한다.” 약속한 실험을 돌렸다. 같은 prefix를 세 가지 모드로 각 20번, 총 60번 호출했다. 먼저 결론부터 던지면 이렇다. 같은 작업을 캐싱 … 더 읽기

Kanana in KakaoTalk을 켜봤다

작성자:

핀테크 개발자가 본 KakaoTalk 온디바이스 AI의 의미 지난 글에서 카카오의 Kanana-o 멀티모달 모델로 음성 의사결정 앱 “아무거나(amuguna)”를 만든 경험을 정리했다. 그 글은 모델을 코드에 녹이는 입장의 분석이었다. 이번 글은 카카오가 같은 Kanana 모델 가족 중 다른 한 갈래를 일반 사용자 톡 안에 넣은 결과를 켜본 후기다. Kanana in KakaoTalk. 평소 핀테크 도메인에서 LLM을 다루는 입장에서 … 더 읽기

프롬프트 캐싱, 처음 도입할 때 알아둬야 하는 7가지

작성자:

지난 글에서 Agent 운영의 토큰 종류를 다섯 가지로 쪼개 정리했다. 그 글 마지막에 이렇게 약속했다. “다음 글은 토큰값을 진짜로 이해하고 나서 시작한 프롬프트 캐싱 실험이다.” 그런데 실험에 들어가기 전에 한 번 짚고 가야 할 게 있었다. “캐싱이라는 게 정확히 뭘 캐싱하는 거지?” 이름만 들으면 다 안다고 착각하기 쉬운 개념이다. 필자도 한참 동안 “시스템 프롬프트를 어딘가에 … 더 읽기