나만의 sLLM 책 리뷰: 비용·보안을 위한 파인튜닝 입문

– LoRA·QLoRA부터 양자화, RAG, 배포까지. 작은 모델 하나를 끝까지 굴리는 흐름을 한 권에 담았다

나는 핀테크에서 AI 개발자로 일한다.

상용 LLM API를 쓰면서 늘 두 가지를 같이 걱정한다.

하나는 비용이다.

호출 한 번은 얼마 안 해 보여도 사용자가 늘고 대화가 길어지면 토큰은 빠르게 쌓인다.

다른 하나는 보안이다.

금융권에서 다루는 데이터는 외부 API로 보내기 전에 확인할 것이 많다.

어떤 정보가 들어가는지, 어디에 저장되는지, 외부로 나가도 되는지를 하나씩 따져야 한다.

아무리 좋은 모델이어도 비용과 보안에서 막히면 서비스에 붙이기 어렵다.

그래서 한 번은 직접 작은 모델을 만들어보고 싶었다.

그런데 정확히 말하면 나는 모델을 만든다기보다 지금까지 남이 만든 모델을 API로 불러다 쓰는 쪽에 가까웠다.

모델을 고르고 프롬프트를 짜고 도구를 붙이고 호출 비용을 계산한다.

응답이 늦으면 캐싱을 붙이고 실패하면 재시도와 폴백을 설계한다.

여기까지는 익숙하다.

그런데 파인튜닝이나 양자화라는 단어가 나오면 갑자기 모델이 멀어졌다.

양자화와 LoRA라는 말은 많이 들었다.

QLoRA가 메모리를 줄여준다는 설명도 읽어봤다.

허깅페이스에서 모델 카드도 열어봤다.

하지만 용어 자체가 워낙 어렵게 느껴졌고 내 데이터를 넣어 직접 해볼 기회도 없었다.

모델을 다듬고 가볍게 만들고 API로 띄우는 과정을 처음부터 끝까지 연결해본 적은 더더욱 없었다.

모델을 사용하는 것과 모델을 내 것으로 만드는 것 사이에 빈칸이 있었다.

마침 이 책의 실습은 무료 구글 코랩을 중심으로 진행된다.

비싼 GPU부터 준비하지 않아도 시작할 수 있다는 점이 마음에 들었다.

이 책으로 먼저 한 바퀴를 돌고, 우리 앱에 들어갈 챗봇에도 적용해보고 싶었다.

그래서 「원하는 대로 튜닝하는 나만의 sLLM」을 골랐다.

이 책은 모델을 고르는 데서 끝나지 않는다

책은 모두 10장으로 구성되어 있다.

앞부분은 LLM과 sLLM의 차이, 산업별 활용 사례, LLaMA·Gemma·Phi·Mistral 같은 최신 모델 흐름을 다룬다.

스타트업, 대기업, 연구기관의 사례를 따로 나눠 보여주는 점이 특히 좋았다.

같은 sLLM이라도 조직의 규모와 목적에 따라 필요한 방식이 다르기 때문이다.

내가 일하는 곳도 스타트업이다.

전담 연구팀이나 넉넉한 GPU부터 갖추고 시작할 수 있는 환경은 아니다.

스타트업은 제한된 비용과 인력 안에서 빠르게 검증해야 하고 대기업은 기존 시스템과 보안 정책을 함께 봐야 한다.

연구기관은 다시 실험과 재현성이 중요해진다.

단순히 “요즘 sLLM이 뜬다”고 말하는 대신, 누가 어떤 이유로 쓰는지를 먼저 보여준다.

오픈소스 기반 모델과 클라우드 기반 LLM을 비교하고

지금 선택할 수 있는 모델들의 흐름을 짚어주는 부분도 모델 선택의 출발점을 잡는 데 도움이 됐다.

중간부터는 직접 손을 움직인다.

허깅페이스와 Ollama로 환경을 잡고 데이터를 준비해 파인튜닝과 LoRA·QLoRA를 거친다.

그다음 양자화와 가지치기, 지식 증류, 키-값 캐시, 플래시 어텐션으로 모델을 가볍게 만드는 방법을 살펴본다.

마지막에는 FastAPI와 Gradio로 화면과 API를 만들고 허깅페이스 스페이스에 배포한다.

RAG 기반 AI 어시스턴트와 문서 요약 서비스까지 이어진다.

흐름을 줄이면 이렇다.

모델 이해
  → 모델 선택
  → 데이터 준비
  → LoRA·QLoRA 파인튜닝
  → 양자화·추론 최적화
  → FastAPI·Gradio 서비스
  → 배포와 운영

이 순서가 이 책의 가장 큰 장점이라고 생각한다.

파인튜닝 코드 한 조각만 보여주는 게 아니라 모델 하나를 서비스로 완성할 때 지나가야 하는 전체 길을 보여준다.

이론을 깊게 파고드는 책이라기보다 실제로 sLLM을 써야 하는 사람이 길을 잃지 않게 만든 실전 입문서에 가깝다.

좋았던 점 1: sLLM이 필요한 이유부터 짚는다

작은 모델이라고 하면 처음에는 성능을 낮춘 값싼 모델이 떠오른다.

큰 모델을 쓸 수 있는데 굳이 작은 모델을 써야 하나 싶기도 하다.

책은 이 질문을 건너뛰지 않는다.

비용, 응답 속도, 내부 데이터 보호, 제한된 장비에서의 실행처럼 sLLM을 선택할 이유를 먼저 펼쳐놓는다.

특히 의료·금융·공공처럼 데이터를 외부로 보내는 것 자체가 부담인 도메인에서는 모델 성능표 하나로 선택을 끝낼 수 없다.

아무리 똑똑한 모델이어도 매 요청마다 민감한 데이터를 외부 API로 보내야 한다면 검토할 것이 늘어난다.

반대로 내부 환경에서 목적에 맞는 작은 모델을 운영할 수 있다면 통제할 수 있는 범위가 넓어진다.

물론 작다고 무조건 싸고 안전한 것은 아니다.

GPU를 직접 운영해야 하고 데이터 품질과 평가도 직접 책임져야 한다.

그래도 선택지가 하나 더 생긴다.

큰 모델을 빌려 쓰는 것만이 유일한 답은 아니다.

이 관점을 먼저 잡고 나니 뒤에 나오는 파인튜닝과 최적화가 기술 자랑이 아니라

실제 문제를 해결하는 방법으로 읽혔다.

좋았던 점 2: LoRA와 QLoRA가 덜 무서워진다

파인튜닝이라는 단어는 무겁다.

모델 전체를 다시 학습하려면 거대한 GPU와 많은 데이터가 필요할 것 같았다.

실제로 풀 파인튜닝은 개인이나 작은 팀이 가볍게 시도하기 어려운 작업이다.

여기서 LoRA와 QLoRA가 등장한다.

모델 전체를 고치는 대신 일부 파라미터만 학습하고, 양자화까지 결합해 필요한 메모리를 줄인다.

개념만 보면 간단한데, 막상 시작하려면 선택할 것이 많다.

어떤 모델을 고를지.

데이터를 어떤 형식으로 만들지.

랭크와 학습률을 어떻게 둘지.

LoRA와 QLoRA 중 무엇을 쓸지.

이 책은 정의에서 멈추지 않고 코드와 설정으로 연결한다.

특히 무료 구글 코랩 환경에서 실행할 수 있도록 구성하고, 한국어 모델을 우선 사용한 점이 현실적이다.

좋은 GPU가 생긴 다음 시작하는 게 아니라, 지금 가진 환경에서 작은 실험부터 해볼 수 있게 만든다.

기술을 완전히 이해해서 두려움이 사라진다기보다, 일단 첫 실행을 해볼 수 있을 정도로 문턱이 낮아진다.

나처럼 용어는 들어봤지만 직접 해볼 기회가 없었던 사람에게 입문서가 해줘야 할 역할이 바로 이거라고 생각한다.

좋았던 점 3: 학습한 모델을 서비스까지 끌고 간다

내가 가장 막연하게 느끼던 단어는 사실 파인튜닝보다 배포였다.

파인튜닝은 적어도 무엇을 하는지 설명을 들으면 감은 온다.

그런데 모델을 배포한다는 건 어디서부터 어디까지인지 경계부터 모호했다.

노트북에서 모델을 불러오는 것과 사용자가 실제로 쓰는 서비스로 만드는 것 사이에는 생각보다 많은 단계가 있다.

모델 실습서에서 자주 아쉬운 지점도 여기다.

노트북 셀에서 원하는 답이 한 번 나오면 프로젝트가 끝난다.

그런데 실무에서는 그다음부터가 시작이다.

사용자가 호출할 API가 있어야 한다.

입력을 검증해야 하고 응답 형식을 정해야 하고 화면도 필요하다.

배포한 뒤에는 비용과 속도, 실패를 봐야 한다.

이 책은 파인튜닝한 모델을 FastAPI로 감싸고

Gradio로 웹 인터페이스를 만들고 허깅페이스 스페이스와 클라우드 환경에 올리는 과정까지 이어간다.

문서 요약과 RAG 기반 어시스턴트라는 실제 형태도 만들어본다.

이 구성이 마음에 들었다.

모델의 정확도만 보는 게 아니라 누군가 실제로 쓸 수 있는 형태까지 가져가야 완성이라는 관점이기 때문이다.

내가 주로 해온 일도 모델 자체를 연구하는 것보다 API와 서비스 사이를 연결하는 일이었다.

그래서 오히려 후반부가 익숙하면서도 중요하게 느껴졌다.

모델을 다루는 법과 서비스를 만드는 법이 한 권 안에서 만나는 지점이다.

“학습은 했는데, 이제 이걸 어디에 어떻게 띄우지?”라는 질문에 다음 행동을 알려준다는 점이 좋았다.

핀테크 AI 개발자로서 눈에 들어온 것

우리 앱에도 챗봇이 있다.

챗봇이라는 말만 들으면 이제는 흔한 기능처럼 느껴진다.

그런데 하나를 실제 서비스에 넣으려 하면 고려할 것이 계속 늘어난다.

무엇을 답하게 할지.

어디까지 답하게 할지.

틀린 답을 하면 어떻게 막을지.

응답이 늦거나 모델 호출이 실패하면 무엇을 보여줄지.

대화가 길어질 때 비용은 얼마나 늘어날지.

그게 금융 서비스라면 질문이 하나 더 붙는다.

“이 데이터가 어디로 나가나요?”

거래 내용, 상담 기록, 계약 문서에는 외부 API로 가볍게 보낼 수 없는 정보가 섞여 있다.

그래서 보안을 이유로 생성형 AI 도입 자체가 멈추는 경우가 생긴다.

sLLM이 모든 문제를 해결해주지는 않는다.

내부에 모델을 띄운다고 데이터 거버넌스가 저절로 생기는 것도 아니다.

하지만 모델과 데이터를 더 가까운 곳에 둘 수 있다는 것은 분명한 장점이다.

업무 범위를 좁히면 작은 모델이 오히려 실용적일 수도 있다.

세상의 모든 질문에 답할 필요 없이,

특정 문서를 분류하거나 정해진 형식으로 요약하는 일만 잘하면 되는 경우가 많기 때문이다.

이 책을 읽으며 sLLM을 “작은 ChatGPT”로 보면 안 되겠다는 생각이 들었다.

범용 모델의 축소판이 아니라, 좁은 업무를 위해 다시 맞춘 도구에 가깝다.

이 관점은 에이전트 설계와도 이어진다.

모든 일을 한 모델에게 맡기기보다,

단순 분류와 전처리는 작고 빠른 모델에 맡기고 복잡한 판단만 큰 모델로 보내는 구조를 생각해볼 수 있다.

모델 라우팅과 비용 설계에 관심이 있다면 이 책의 최적화 파트가 특히 잘 맞을 것 같다.

나는 이번 하반기에 이 책을 바탕으로 우리 앱의 챗봇에 사용할 작은 모델을 직접 만들어보는 것을 목표로 잡았다.

처음부터 상용 API를 완전히 대체하겠다는 뜻은 아니다.

작은 범위부터 sLLM으로 맡겨보고 비용과 품질, 보안을 실제 숫자로 비교해보고 싶다.

SLLM의 전체 흐름을 잡는 책

이 책의 장점은 처음부터 배포까지 한 번에 보여준다는 것이다.

그래서 한 주제를 깊게 파는 책이라고 생각하면 방향이 조금 다를 수 있다.

LLM의 기본 원리, 산업 동향, 파인튜닝, LoRA·QLoRA, 양자화, RAG, FastAPI, Gradio, 배포와 보안까지 372쪽 안에 들어 있다.

한 권에서 모든 주제를 깊게 파고들 수는 없다.

이미 파인튜닝을 여러 번 해본 사람이라면 하이퍼파라미터 선택이나 평가 데이터 설계, 실제 GPU 서빙 최적화에서 더 깊은 내용을 원할 수 있다.

하지만 나처럼 직접 해본 적 없는 사람에게는 특정 기법의 깊이보다 전체 흐름을 놓치지 않게 해주는 구성이 먼저 필요하다.

용어마다 따로 검색하다가 길을 잃는 대신, 모델 선택부터 배포와 운영까지 한 번 연결해볼 수 있기 때문이다.

또 하나는 변화 속도다.

허깅페이스 라이브러리와 오픈소스 모델 생태계는 빠르게 바뀐다.

책의 화면이나 코드가 시간이 지나며 조금씩 달라질 수 있다.

그래서 코드를 그대로 복사해 끝내기보다 각 단계가 왜 필요한지를 이해하며 읽는 편이 오래 남는다.

누구에게 추천하는가

이 책이 가장 잘 맞는 사람은 LLM API는 써봤지만 모델 자체를 튜닝해본 적은 없는 개발자라고 생각한다.

프롬프트와 RAG 다음에 무엇을 공부해야 할지 고민하는 사람에게도 맞다.

허깅페이스 모델 카드 앞에서 무엇부터 눌러야 할지 막막했던 사람.

LoRA와 QLoRA를 글로만 접한 사람.

큰 GPU가 없어서 파인튜닝을 미뤄온 사람.

내부 데이터 때문에 외부 LLM API 도입을 고민하는 실무자.

이런 독자라면 책의 흐름을 그대로 따라가며 작은 모델 하나를 끝까지 완성해볼 수 있다.

특히 이론을 더 쌓기보다 실제 업무에 한 번 써보고 싶은 사람에게 잘 맞는다.

스타트업에서 큰 인프라와 전담 연구팀 없이 작은 가능성부터 검증해야 하는 사람이라면 코랩 중심의 구성이 더 현실적으로 다가올 것 같다.

반대로 대규모 학습이나 고성능 추론 서버를 이미 운영하는 엔지니어에게는 입문 내용이 많을 수 있다.

이 책은 실제로 쓸 사람을 sLLM의 처음부터 서비스까지 한 바퀴 돌게 해주는 입문 실습서에 가깝다.

모델을 직접 가진다는 것

책을 덮고 나서 남은 것은 특정 라이브러리 사용법이 아니었다.

모델을 직접 가진다는 감각이었다.

API를 쓰면 어려운 부분을 많이 건너뛸 수 있다.

대신 가격이 바뀌고, 모델이 교체되고, 정책이 달라질 때마다 내 서비스도 영향을 받는다.

sLLM을 직접 운영하면 그 반대다.

선택권이 늘어나는 만큼 책임도 늘어난다.

데이터를 준비하고 성능을 평가하고 배포하고, 문제가 생기면 직접 고쳐야 한다.

그럼에도 한 번은 이 과정을 끝까지 경험해볼 가치가 있다.

모델을 빌려 쓰는 것과 모델을 이해하는 것은 다르기 때문이다.

나는 아직 거대한 기반 모델을 만들 수는 없다.

하지만 공개된 작은 모델을 고르고 내 데이터에 맞게 다듬고

누군가 쓸 수 있는 서비스로 띄우는 일은 시도할 수 있다.

이 책은 그 차이를 막연한 꿈이 아니라 실행 순서로 바꿔준다.

이제 남은 것은 직접 해보는 일이다.

이번 하반기에는 코랩에서 끝내지 않고

우리 앱의 챗봇 안에서 작은 모델이 실제로 한 가지 역할을 맡는 데까지 가보고 싶다.

그때 비용이 얼마나 줄었는지, 보안 검토는 무엇이 달라졌는지,

품질은 상용 API와 어디서 갈렸는지를 다시 기록해볼 생각이다.

도서 정보

제목: 원하는 대로 튜닝하는 나만의 sLLM
부제: 비용은 낮게, 보안은 높게, 성능은 내 업무에 딱 맞게!
저자: 오지영
출판사: 길벗
출간일: 2026년 7월 7일
분량: 372쪽
ISBN: 979-11-407-1947-1
공식 도서 페이지: 길벗 도서 정보

#협찬

비용과 보안 때문에 직접 작은 모델을 만들어보기로 했다 – 『원하는 대로 튜닝하는 나만의 sLLM』