Gemma를 처음 만나는 개발자를 위한 전체 그림

Gemma는 무엇인가

Gemma는 Google DeepMind가 공개한 경량 언어 모델 계열이다. Google은 Gemma를 Gemini 모델을 만들 때 사용한 연구와 기술을 바탕으로 만든 공개 모델이라고 설명한다.¹ 여기서 중요한 말은 두 가지다. 하나는 Gemini의 기술 계열이라는 점이고, 다른 하나는 공개 가중치 모델이라는 점이다.

Gemini는 Google이 제공하는 강력한 상용 AI 모델 계열이다. 보통 개발자는 Google AI Studio나 Vertex AI 같은 API를 통해 Gemini를 사용한다. 반면 Gemma는 개발자가 모델 가중치를 내려받아 직접 실행할 수 있는 모델이다. 가중치는 모델이 학습하면서 얻은 수많은 숫자 값이다. 쉽게 말해, 모델의 능력이 담긴 핵심 파일이다.

그래서 Gemma를 단순히 "Google이 만든 작은 챗봇"으로 보면 부족하다. Gemma는 직접 실행하고, 실험하고, 특정 작업에 맞게 조정하고, 제품 안에 배포할 수 있는 개발용 LLM 기반이다. API를 호출해서 답만 받는 방식과 달리, 개발자는 실행 환경, 입력 방식, 비용 구조, 데이터 흐름을 더 많이 통제할 수 있다.

다만 공개 가중치 모델이 곧 아무 제한 없는 모델이라는 뜻은 아니다. 모델마다 사용 조건, 라이선스, 안전 정책이 있다. 실제 프로젝트에 쓰기 전에는 모델 카드와 사용 약관을 확인해야 한다. "다운로드할 수 있다"와 "어떤 목적으로든 마음대로 쓸 수 있다"는 같은 말이 아니다.

AI 생성 이미지

Gemini와 Gemma의 관계

Gemini와 Gemma는 경쟁 관계라기보다 역할이 다르다. Gemini는 Google이 운영하는 대형 상용 모델 서비스에 가깝다. 개발자는 인프라를 직접 관리하지 않고 API로 높은 성능의 모델을 사용할 수 있다. 모델 업데이트, 대규모 추론 인프라, 안정적인 운영은 Google 쪽에서 담당한다.

Gemma는 다르다. 개발자가 모델을 내려받아 자신의 노트북, 서버, 클라우드 GPU, 때로는 모바일이나 엣지 기기에서 실행할 수 있다.² 이 방식은 더 많은 책임을 요구한다. 메모리, 속도, 배포, 모니터링, 보안, 업데이트를 직접 고민해야 한다. 대신 모델이 어디서 실행되는지, 어떤 데이터가 외부로 나가는지, 어떤 방식으로 최적화할지 결정할 수 있다.

간단히 정리하면 다음과 같다.

이 차이를 이해하면 Gemma의 위치가 분명해진다. Gemini가 "완성된 AI 서비스를 빠르게 쓰는 길"이라면, Gemma는 "내 환경에 맞는 AI 기능을 직접 만드는 길"에 가깝다.

공개 가중치 모델을 쓴다는 것

Gemma 같은 공개 가중치 모델의 장점은 명확하다. 첫째, 로컬에서 실행할 수 있다. 인터넷 연결이 없어도 동작하게 만들 수 있고, 민감한 입력을 외부 API로 보내지 않는 구조도 설계할 수 있다. 둘째, 비용 구조를 직접 조정할 수 있다. API 사용량에 따라 비용을 내는 대신, 자신이 보유한 GPU나 임대 서버를 활용할 수 있다. 셋째, 모델을 작업에 맞게 조정할 수 있다. 예를 들어 특정 문서 형식으로 답하게 하거나, 회사 내부 분류 기준을 따르게 하거나, 짧은 고객 답변 초안을 안정적으로 만들도록 학습시킬 수 있다.

하지만 단점도 있다. 모델을 직접 운영하면 실패도 직접 책임져야 한다. GPU 메모리가 부족할 수 있고, 응답 속도가 느릴 수 있으며, 모델 업데이트와 보안 패치도 신경 써야 한다. 사용자가 많아지면 배치 처리, 캐시, 추론 서버, 모니터링 같은 운영 기술이 필요해진다.

따라서 Gemma를 선택할 때는 "무료로 쓸 수 있는가"보다 "내가 통제해야 하는 것이 무엇인가"를 먼저 봐야 한다. 작은 실험에서는 공개 모델이 간편해 보일 수 있다. 그러나 서비스가 커질수록 모델 실행, 비용 예측, 장애 대응, 품질 평가가 중요해진다.

Gemma 계열은 어떻게 확장되어 왔나

Gemma는 처음부터 하나의 모델만 의미하지 않았다. 세대와 목적에 따라 여러 모델이 등장했다.

초기 Gemma는 2B와 7B 크기의 텍스트 중심 모델로 출발했다. 여기서 B는 billion, 즉 10억 개 단위의 파라미터를 뜻한다. 파라미터가 많을수록 일반적으로 더 복잡한 패턴을 배울 수 있지만, 실행에 필요한 메모리와 비용도 커진다. 초기 Gemma는 "작고 직접 실행 가능한 Google 계열 LLM"이라는 방향을 보여 주었다.

Gemma 2는 성능과 효율을 개선한 세대다. 2B, 9B, 27B 같은 크기로 제공되었고, 더 큰 모델의 능력을 작은 모델에 전달하는 증류 방식도 활용되었다.³ 증류는 큰 모델이 보여 준 답변 습관이나 판단 방식을 작은 모델이 배우게 하는 압축 기법이다. 개발자 입장에서는 더 작은 자원으로 쓸 만한 품질을 얻을 가능성이 커진다.

Gemma 3에서는 활용 범위가 더 넓어졌다. 1B, 4B, 12B, 27B 크기의 모델이 소개되었고, 일부 모델은 텍스트뿐 아니라 이미지 입력도 처리할 수 있다. 또한 더 긴 컨텍스트와 다국어 지원이 강조되었다.⁴ 컨텍스트는 모델이 한 번에 읽을 수 있는 입력 범위다. 긴 문서, 긴 대화, 여러 자료를 함께 넣어야 하는 작업에서는 이 길이가 중요하다.

Gemma 3n은 온디바이스와 엣지 환경을 더 강하게 겨냥한 흐름이다. Google은 Gemma 3n을 휴대전화, 노트북, 태블릿 같은 일상 기기에서 쓰기 좋게 최적화된 모델로 설명한다.⁵ 서버에 요청을 보내지 않고 기기 안에서 AI 기능을 실행하려는 경우, 이런 모델이 중요해진다. 예를 들어 키보드 문장 교정, 오프라인 요약, 개인 메모 정리, 현장 장비의 간단한 질의응답 같은 기능을 생각할 수 있다.

이 흐름을 보면 Gemma의 방향은 분명하다. 처음에는 경량 텍스트 모델로 시작했지만, 점차 더 긴 문맥, 다국어, 이미지 입력, 온디바이스 실행으로 확장되고 있다.

Gemma로 만들 수 있는 것들

Gemma의 대표 사용 사례는 텍스트 생성이다. 사용자의 질문에 답하고, 문장을 다시 쓰고, 이메일 초안을 만들고, 보고서를 요약할 수 있다. 하지만 실전에서는 단순 채팅보다 더 구체적인 기능으로 쓰는 경우가 많다.

예를 들어 코드 보조 기능을 만들 수 있다. 함수 설명을 작성하거나, 테스트 코드를 제안하거나, 오류 메시지를 바탕으로 원인을 추정하게 할 수 있다. CodeGemma처럼 코드 생성과 보완에 맞춘 변형 모델도 이런 흐름에 속한다.³

문서 요약과 분류도 좋은 출발점이다. 긴 회의록에서 결정 사항만 뽑거나, 고객 문의를 환불·배송·기술지원 같은 항목으로 나눌 수 있다. 이런 작업은 출력 형식이 비교적 명확하므로 작은 모델로도 실용적인 결과를 얻기 쉽다.

RAG도 중요한 사용 사례다. RAG는 Retrieval-Augmented Generation의 약자로, 검색 증강 생성이라고 부른다. 모델이 모든 지식을 기억하게 하는 대신, 질문과 관련된 문서를 먼저 검색하고 그 문서를 근거로 답하게 만드는 방식이다. 사내 규정, 제품 매뉴얼, 계약서, 기술 문서처럼 최신성과 출처가 중요한 업무에서는 Gemma와 RAG를 함께 쓰는 방식이 유용하다.

온디바이스 AI도 점점 현실적인 선택지가 되고 있다. 작은 Gemma 모델을 양자화해 모바일이나 개인 PC에서 실행하면, 민감한 입력을 서버로 보내지 않고도 간단한 AI 기능을 제공할 수 있다. 양자화는 모델의 숫자 표현을 줄여 메모리 사용량을 낮추는 기법이다. 품질이 조금 떨어질 수 있으므로 실제 입력으로 검증해야 하지만, 배포 가능한 환경은 크게 넓어진다.

Gemma를 개발 플랫폼으로 바라보기

Gemma를 잘 쓰려면 모델 하나만 보면 안 된다. 실제 LLM 애플리케이션은 보통 다음 요소로 구성된다.

• 어떤 Gemma 모델을 선택할지

• 어디에서 실행할지

• 프롬프트를 어떻게 작성할지

• 필요한 문서를 어떻게 검색할지

• 출력 형식을 어떻게 검증할지

• 속도와 비용을 어떻게 줄일지

• 안전성과 개인정보를 어떻게 관리할지

즉 Gemma는 답변을 생성하는 엔진이고, 좋은 제품은 그 주변 설계에서 완성된다. 같은 모델을 쓰더라도 입력이 지저분하면 답변이 흔들린다. 검색 문서가 잘못 들어가면 그럴듯한 오답이 나온다. 출력 검증이 없으면 JSON 형식이 깨지거나 정책에 맞지 않는 답변이 사용자에게 전달될 수 있다.

이 책에서는 Gemma를 "모델 파일"이 아니라 "개발 플랫폼"으로 다룬다. 먼저 모델 라인업을 고르고, 실행 환경을 준비하고, 첫 실행을 해 본다. 그다음 프롬프트, RAG, 파인튜닝, 추론 최적화, 애플리케이션 통합, 온디바이스 배포, 평가와 안전성까지 차례로 살펴본다.

처음부터 모든 것을 완벽하게 만들 필요는 없다. 작은 모델을 로컬이나 노트북에서 실행해 보고, 짧은 프롬프트로 결과를 확인하는 것부터 시작하면 된다. 중요한 것은 Gemma를 마법 같은 정답 생성기로 보지 않는 것이다. Gemma는 확률적으로 다음 말을 예측하는 모델이며, 개발자는 그 모델이 좋은 선택을 하도록 입력과 환경과 검증 절차를 설계해야 한다.

이 관점을 잡으면 이후의 모든 장이 연결된다. 모델 선택은 비용과 품질의 문제이고, 프롬프트는 입력 설계의 문제이며, RAG는 근거 제공의 문제다. 파인튜닝은 반복되는 행동을 안정화하는 방법이고, 최적화는 같은 품질을 더 빠르고 싸게 제공하는 기술이다. Gemma를 제대로 사용하는 일은 결국 모델을 고르는 일이 아니라, 모델이 안정적으로 일할 수 있는 시스템을 만드는 일이다.

참고

¹Gemma explained: An overview of Gemma model family architectures

²google-deepmind/gemma GitHub repository

³Gemma explained: An overview of Gemma model family architectures

⁴Welcome Gemma 3: Google's all new multimodal, multilingual, long context open LLM

⁵Gemma 3n model overview