Granite 4.2 LLMs: 기업용 추론과 에이전트 작업을 위한 선택 기준
기업용 AI의 평가 기준은 답변 품질을 넘어 실제 작업 수행 능력으로 확장되고 있다. Granite 4.2 LLMs는 이러한 변화에 맞춰 추론과 도구 사용을 강화한 텍스트 전용 모델 제품군이다. 중요한 점은 가장 큰 모델을 선택하는 것이 아니라, 작업 난도와 처리량, 배포 환경에 맞춰 적절한 크기와 추론 방식을 고르는 것이다.
밀집형 구조와 긴 컨텍스트
Granite 4.2는 3B·8B·30B 크기의 밀집형 디코더 전용 모델로 구성된다. 각 모델은 처음부터 약 15조 개의 토큰으로 사전 학습됐으며, 5단계 사전 학습의 마지막 단계에서 컨텍스트 길이가 512K 토큰까지 확장됐다. 다만 공개 설정에서 기본으로 지원하는 컨텍스트 창은 128K 토큰이다.1
밀집형 모델은 입력을 처리할 때 전체 파라미터를 사용한다. 혼합 전문가 구조보다 계산 효율에서 불리할 수 있지만, 미세조정과 배포가 비교적 단순하고 다양한 실행 환경에 적용하기 쉽다. 3B·8B·30B로 크기를 나눈 구성은 높은 처리량이 필요한 업무와 복잡한 추론이 필요한 업무를 구분해 선택할 수 있게 한다.2
작업 난도에 따라 추론 비용 조절하기
Granite 4.2는 사고 모드와 비사고 모드를 선택해 실행할 수 있다. 낮은 노력 모드에서는 쉬운 질문에 사용하는 추론 토큰 수를 제한한다.1 모든 요청에 긴 추론 과정을 적용하는 대신, 작업 난도에 따라 응답 지연과 계산 비용을 조절할 수 있다는 의미다.
여기서 추론은 사람이 의식적으로 이해하는 과정이 아니다. 중간 결과를 여러 단계에 걸쳐 연결해 답이나 행동 순서를 만드는 기능적 추론을 뜻한다.3 또한 Granite 4.2는 이미지나 음성을 직접 처리하지 않는 텍스트 전용 모델이므로, 멀티모달 입력이 필요한 업무에는 별도의 처리 체계가 필요하다.1
모델별 에이전트 역량의 차이
모든 모델은 지도 미세조정으로 시작해 기초 강화학습을 거쳤다. 이 과정에서는 수학·과학·코딩·추론·도구 호출 능력을 강화하기 위해 검증 가능한 보상과 보상 모델 기반 평가를 함께 사용했다. 이후 인간 피드백 기반 강화학습을 결합해 응답을 정렬했다.2
8B와 30B 모델에는 소프트웨어 엔지니어링, 터미널 작업, 웹 검색을 위한 에이전트 특화 강화학습이 추가됐다. 3B 모델도 도구 호출을 지원하지만, 별도의 에이전트 특화 강화학습은 받지 않았다.3
따라서 모델 선택은 다음과 같이 접근할 수 있다.
3B: 단순한 도구 호출과 높은 처리량이 중요한 작업
8B·30B: 여러 도구를 순차적으로 사용하거나 결과를 검증해야 하는 복합 작업
사고 모드: 다단계 추론이 필요한 요청
비사고·낮은 노력 모드: 빠른 응답과 비용 통제가 중요한 단순 요청
실제 선택은 모델 크기만으로 결정하지 말고, 내부 데이터와 도구를 사용한 평가를 통해 검증해야 한다.
도입 시 확인할 지표
모든 Granite 4.2 모델은 Apache 2.0으로 공개돼 자체 호스팅과 미세조정에 활용할 수 있다.2 그러나 공개 벤치마크 점수만으로 기업 환경의 성능을 판단하기는 어렵다. 실제 도입 전에는 다음 항목을 함께 측정해야 한다.
내부 문서와 요청의 평균 길이
도구 호출 성공률과 오류 복구 능력
작업별 응답 지연 시간
추론 모드별 토큰 사용량과 운영 비용
모델 크기별 처리량과 배포 자원
복합 작업에서의 단계별 결과 검증 능력
요약
Granite 4.2 LLMs의 핵심 가치는 하나의 최대 성능 모델이 아니라, 모델 크기와 추론 비용, 에이전트 역량을 업무에 맞게 선택할 수 있다는 데 있다. 도입 조직은 3B·8B·30B를 실제 작업으로 비교하고, 품질뿐 아니라 도구 호출 성공률과 지연 시간, 운영 비용을 함께 평가해야 한다.
1IBM's new Granite 4.2 models add reasoning and stay dense
2Granite 4.2 brings native reasoning to enterprise agents
3IBM's new Granite 4.2 models ride the wave of interest in local LLMs
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.