필자는 핀테크에서 AI 개발자로 일한다. 매일 다루는 건 당연하게도 텍스트다.
거래 메시지, 고객 문의, 약관, 뉴스. 모델도 텍스트 기반이다. 분류, 임베딩, 요약, RAG.
이미지·음성·영상이 들어간 멀티모달 모델은 늘 옆 동네 이야기처럼 느껴졌다.
AI 개발자로 근무하며 비전 언어 모델이라는 단어가 익숙해질 정도로는 알고 있다.
그런데 막상 직접 쓰려고 하면 어디서 시작해야 할지 감이 잡히지 않았다.
멀티모달은 “공부할 게 너무 많아 보이는 영역”이었다.
그러다 이 책을 읽었다. 「허깅페이스로 배우는 멀티모달 모델」(이정인·정우준 저, 디지털북스).
읽고 나서 가장 먼저 든 생각은 “이거 생각보다 멀지 않은 동네였구나”였다.
그 감각이 정리되는 과정을 적어둔다.
이 책이 다루는 범위
제목 그대로 이 책은 두 축을 따라 흐른다. 허깅페이스와 멀티모달.
목차를 펼치면 5개 Part로 나뉜다.
Part 01. 허깅페이스 살펴보기
Part 02. 멀티모달 모델 이해하기 (CLIP, 제로샷 분류)
Part 03. 멀티모달 모델을 활용한 이미지 이해 (비전 언어 모델, 파인튜닝)
Part 04. 멀티모달 모델을 활용한 이미지 생성 (텍스트→이미지, ControlNet, 효율화)
Part 05. 멀티모달 모델 더 알아보기 (비디오 LLM, 옴니 모델, 로봇)
Part 01은 허깅페이스 자체에 대한 a to z다.
플랫폼의 시작과 생태계를 개발 도구·연구개발·커뮤니티 세 영역으로 나눠 정리하고
모델 불러오기, 입력 처리, 파이프라인 같은 라이브러리 사용법을 짚는다.
처음 허깅페이스를 마주한 사람이 길을 잃지 않도록 단계별로 안내한다.
Part 02부터는 멀티모달 본론으로 들어간다.
멀티모달이 무엇이고 왜 필요한지, 어떻게 분류되는지를 짧게 정리한 뒤
이미지와 텍스트를 같은 공간에 임베딩하는 CLIP을 곧장 실습으로 끌어온다.
제로샷 분류 예제로 “어떻게 작동하는가”가 한눈에 들어오는 구조다.
Part 03~04는 책의 무게중심이다.
비전 언어 모델로 이미지를 이해하고 텍스트를 생성하는 방법,
텍스트로부터 이미지를 생성하는 방법을 단계적으로 다룬다.
단순 추론을 넘어 파인튜닝, ControlNet으로 생성을 정교하게 제어하는 법,
맞춤형 모델 학습과 효율화 기법까지 들어가 있다.
Part 05에서는 시야를 한 번 더 넓힌다.
비디오 LLM, 텍스트·이미지·오디오·비디오를 함께 다루는 옴니 모델,
로봇을 위한 멀티모달, Qwen Image Edit, 비디오 생성 모델, 이미지 생성 벤치마크까지 짚는다.
입문서이면서도 마지막 장에서 멀티모달의 최전선을 한 번 보여주는 셈이다.
장점은 두 축이 따로 놀지 않는다는 점이다.
Part 01에서 익힌 허깅페이스 사용 패턴이 Part 02부터의 멀티모달 챕터에서 그대로 재활용된다.
“이 라이브러리를 어디서 어떻게 써야 하는지”를 한 권 안에서 자연스럽게 익히게 된다.
좋았던 점 1: 이론에서 실습까지의 거리가 짧다
기술서에서 가장 흔한 함정은 두 가지다.
이론은 두꺼운데 실습이 빈약하거나 실습은 풍부한데 그 모델이 왜 그렇게 동작하는지가 비어 있거나.
이 책은 그 거리를 좁힌다.
모델의 핵심 아이디어를 짧게 설명하고 곧장 허깅페이스로 불러와서 직접 실행해보는 흐름이 반복된다.
CLIP을 설명한 다음 페이지에서 제로샷 분류를 돌려보고
비전 언어 모델 개념을 짚은 다음에 이미지 캡션 작업을 직접 비교해보는 식이다.
이론 페이지에서 본 개념이 다음 페이지의 코드 블록에서 바로 나타난다.
덕분에 읽는 리듬이 끊기지 않는다.
“왜 이렇게 동작하는가”와 “어떻게 쓰는가”가 한 호흡 안에 들어와 있어서
책을 덮고 나서도 손이 키보드로 자연스럽게 움직인다. 입문서에서 가장 중요한 미덕이라고 생각한다.
좋았던 점 2: 입문자를 위한 군더더기 없는 설명
기술서에서 또 하나 흔한 문제는 분량을 채우기 위한 사족이다.
핵심에서 벗어난 역사 이야기, 굳이 깊이 들어가지 않아도 되는 수식, 입문자에게는 부담만 되는 디테일.
이 책은 그런 군더더기가 적다.
입문자가 멀티모달 모델을 처음부터 끝까지 한 번 돌려보는 데 필요한 만큼만 설명한다.
어려운 수식을 끌고 오기보다 “이 모델은 이런 입력을 받고 이런 출력을 낸다”를 코드로 먼저 보여준다.
그러면서도 입문에서 끝나지 않는다.
Part 04에서는 ControlNet으로 이미지 생성을 제어하는 방법,
맞춤형 모델 학습과 추론 효율화까지 들어간다.
입문자가 따라가다 보면 어느새 실무에서 검토할 만한 영역에 도달해 있는 구성이다.
처음 멀티모달을 접하는 독자에게 필요한 건 “전체 그림”이지 “모든 디테일”이 아니다.
이 책은 그 우선순위를 잘 잡고 있다.
다 읽고 나면 추가로 깊게 파고 싶은 모델을 스스로 고를 수 있을 만큼의 지도를 손에 쥐게 된다.
좋았던 점 3: “멀티모달”이라는 단어의 무게가 가벼워진다
이 책을 읽기 전에는 멀티모달이라는 단어 자체가 무거웠다.
텍스트만 다루던 개발자에게 이미지·음성·영상이 한꺼번에 섞이는 모델은
어떻게 손을 대야 할지 막막한 영역이었다.
책을 따라가다 보면 그 무게가 줄어든다.
CLIP을 불러와서 이미지와 텍스트를 같은 공간에 임베딩해보고
비전 언어 모델로 이미지를 설명하는 텍스트를 생성해보고
이미지 생성 모델을 ControlNet으로 제어해본다.
한 번 손에 익으면 “결국 입력의 형태가 다를 뿐, 다루는 인터페이스는 익숙한 것”이라는 감각이 생긴다.
거부감이 옅어지는 건 입문서가 줄 수 있는 가장 큰 가치다. 이 책은 그걸 잘 해낸다.
핀테크 AI 개발자로서 읽은 후기
나처럼 텍스트 모델만 다루던 개발자에게 이 책은 좋은 다리 역할을 한다.
핀테크에서 다루는 데이터는 대부분 텍스트와 정형 데이터다.
신분증 OCR, 보안 영상 분석, 상담 음성 분석처럼 멀티모달이 들어올 자리가 분명히 있는데도
익숙한 텍스트 영역에 머무르게 되는 경우가 많다. 진입 장벽 때문이다.
가장 최근에 그 벽을 실감한 건 옴니 모델을 살펴볼 때였다.
텍스트·이미지·음성을 한 모델 안에서 받고 텍스트와 음성으로 답하는 모델..
예로 들자면 우리가 흔히 말하는 옴니 모델이 한국어 생태계에서도 빠르게 등장하고 있다.
카카오 앰배서더로 활동하면서 사이드 프로젝트에 한 번 써보고 싶었다.
그래서 허깅페이스에 들어갔다. 모델은 분명히 거기 있었다.
그런데 막상 허깅페이스에 익숙하지 않다 보니 모델 카드 한 장 앞에서 어떻게 시작해야 할지 막막했다.
모델 불러오기, 프로세서, 입력 처리, 파이프라인 같은 단어는 아는데
실제로 어떻게 엮어 쓰는지 손에 잡히지 않는 상태였다. 옴니 모델은 입력 modality가 여러 개라 더 어려워 보였다.
이 책의 Part 01이 정확히 그 지점을 메워준다.
허깅페이스의 라이브러리와 모델 불러오기, 입력 처리, 파이프라인을 단계적으로 짚어주니까
읽고 난 뒤에는 같은 모델 카드를 봐도 “이거 그냥 불러서 돌려보면 되겠네”라는 감각으로 바뀐다.
Part 05의 옴니 모델 챕터에서는 텍스트·이미지·오디오·비디오를 동시에 처리하는 모델이 어떤 흐름 위에 놓여 있는지를 짚어줘서
옴니 모델이 갑자기 나타난 게 아니라 어디서부터 발전해온 결과물인지가 한눈에 들어왔다.
책을 따라가다 보니 허깅페이스라는 도구 위에서 모델만 바꿔 끼우면 된다는 감각이 생겨
멀티모달 모델을 검토하는 것 자체가 부담스럽지 않게 됐다.
“이론에서 실습까지의 거리”가 짧다는 점이 특히 도움이 됐다.
책에서 배운 코드를 그대로 사이드 프로젝트에 옮겨와 실행해볼 수 있었고
그 과정에서 멀티모달이 더 이상 “공부 끝나고 도전할 영역”이 아니라 “지금 바로 시도해볼 수 있는 영역”이 됐다.
마지막 Part에서 옴니 모델과 비디오 LLM의 흐름까지 이어져
앞으로 어디로 시야를 넓혀가야 할지에 대한 감각도 함께 얻었다.
더 쉽게 접근할 수 있고, 이해하기도 편했다. 입문서로서 필요한 두 가지를 다 갖춘 책이다.
응원과 마무리
멀티모달은 빠르게 변하는 영역이다.
새로운 모델이 매달 나오고 어제 표준이던 패턴이 다음 달에는 다르게 쓰인다.
그런 영역에서 입문서를 쓴다는 건 쉬운 일이 아니다.
깊이를 잃지 않으면서도 진입 장벽을 낮춰야 하고
빠르게 변하는 라이브러리 위에서 안정적으로 동작하는 예제를 만들어야 한다.
이 책은 그 균형을 잘 잡았다. 입문자가 멀티모달이라는 단어 앞에서 주춤하지 않게 만들어주는 책이다.
두 분 저자에게 고마운 마음과 함께 다음 책에서는 이번 책이 닦아둔 길 위에 더 깊은 주제
(도메인 적응, 대규모 파인튜닝 전략, 옴니 모델의 실무 활용)가 얹히기를 기대하고 있다.
멀티모달은 멀리 있는 영역이 아니다. 이 책이 그 사실을 가장 짧은 거리로 알려준다.
p.s. 예전에 가짜연구소 컨퍼런스에서 허깅페이스 코리아? 분들을 뵌적이 있는데
갓쓴 허깅페이스 이미지는 한국 커뮤니티에서 직접 만든거라고,
스티커도 구할 수 없다며 하나 주셨다. (내 노트북에 붙여져 있다)
귀엽기도 하고 정감가는 갓 쓴 허깅페이스. 항상 한국의 ai 발전을 위해 힘써주시는 모든 분들께 감사드린다.
도서 정보
- 제목: 허깅페이스로 배우는 멀티모달 모델
- 저자: 이정인, 정우준
- 출판사: 디지털북스
- 출간일: 2026년 3월 10일
- 분량: 227쪽
- 교보문고: https://product.kyobobook.co.kr/detail/S000219182705
- 영풍문고: https://www.ypbooks.co.kr/books/202602250874514794
이 글은 도서를 직접 읽은 뒤 작성한 개인 서평입니다.
#디지털북스 #허깅페이스 #서평 #리뷰