KOFF: LLM을 '작은 백본 + 교체형 메모리'로 나누는 시도

LLM은 보통 범용 추론 능력과 특정 언어·도메인 지식을 하나의 거대한 파라미터 공간에 함께 저장합니다. 이 방식은 단순하지만, 모델을 줄이거나 특정 지식만 교체하려 할 때 한계가 큽니다.

Knowledge Offloading, 줄여서 KOFF는 이 문제를 다르게 봅니다. 사전학습된 LLM을 희소한 공유 백본과 도메인별 메모리 모듈로 분해해, 공통 계산과 특화 지식을 분리하려는 프레임워크입니다.¹

KOFF의 핵심: 백본에는 공통 능력, 메모리에는 특화 지식

KOFF의 목표는 단순히 모델을 작게 만드는 것이 아닙니다. 범용 계산은 공유 백본에 남기고, 특정 언어·도메인에 가까운 지식은 외부 메모리 모듈로 옮기는 것입니다.¹

이를 위해 KOFF는 동결된 기본 모델에서 출발합니다. 원래 모델 전체를 다시 학습하는 대신, 구조적 프루닝 마스크와 경량 복구 모듈을 함께 학습합니다.¹ 프루닝으로 일부 뉴런이나 채널을 제거하되, 제거로 생긴 손실을 복구 모듈이 보완하도록 설계하는 방식입니다.

이 복구 모듈은 두 요소로 구현됩니다. 하나는 LoRA 어댑터이고, 다른 하나는 학습 가능한 키-값 캐시입니다.¹ LoRA는 가벼운 파라미터 보정 장치에 가깝고, 학습 가능한 KV 캐시는 어텐션 과정에 붙는 외부 기억 공간으로 이해할 수 있습니다.

중요한 차이는 “얼마나 잘 잘랐나”가 아니라 “어떻게 회복하나”다

KOFF가 흥미로운 이유는 프루닝 자체보다 프루닝 이후의 회복 구조에 있습니다. 실험은 3B~8B 규모의 Llama 및 Qwen 모델에서 수행됐고, KOFF는 약 12% 전역 희소성에서도 비프루닝 모델 성능의 상당 부분을 유지했습니다.¹

반대로 같은 동결 모델을 메모리 없이 프루닝하면 성능이 급격히 저하됐습니다.¹ 이는 모델 압축에서 중요한 기준을 보여줍니다. 단순히 파라미터를 줄이는 것만으로는 충분하지 않으며, 줄어든 모델이 잃어버린 능력을 어디에서 어떻게 보완할지까지 함께 설계해야 합니다.

절제 실험도 같은 결론을 뒷받침합니다. LoRA와 학습된 KV 메모리는 서로 보완적으로 작동했습니다.¹ 하나는 파라미터 공간을 보정하고, 다른 하나는 활성화 과정에서 필요한 지식을 보태는 역할을 합니다. KOFF의 의미는 바로 이 조합에 있습니다.

KOFF를 볼 때의 실용적 기준

KOFF가 던지는 질문은 명확합니다. 모든 지식을 하나의 모델 안에 계속 누적할 것인가, 아니면 공통 코어와 교체 가능한 메모리로 나눌 것인가.

분석 결과는 이 방향을 어느 정도 뒷받침합니다. KOFF에서는 언어별 뉴런이 우선적으로 제거되고, 언어 일반 뉴런은 주로 백본에 남았습니다.¹ 이는 분해가 단순한 무작위 압축이 아니라, 공통 능력과 특화 지식의 재배치에 가까울 수 있음을 시사합니다.

실제 적용을 판단할 때는 세 가지를 함께 봐야 합니다.

• 어떤 메모리 모듈을 언제 선택할 것인가

• 메모리 추가가 추론 비용을 얼마나 늘리는가

• 여러 도메인 메모리를 운영할 때 복잡도가 감당 가능한가

결국 KOFF의 가치는 “더 작은 모델”을 만드는 데만 있지 않습니다. 더 중요한 점은 LLM을 공유 백본과 붙였다 뗄 수 있는 지식 모듈로 재구성할 수 있는 가능성을 보여줬다는 것입니다. 모델을 하나의 덩어리로 키우는 방식에서 벗어나, 필요한 지식을 분리해 관리하려는 시도라는 점에서 KOFF는 주목할 만합니다.

¹Knowledge Offloading: Decomposing LLMs into Sparse Backbones and Memory Modules