Small Language Models (SLMs)

SLM은 LLM 보다 규모가 작은 생성형 AI 모델을 말한다. 더 적은 훈련 데이터로 학습되며 적은 컴퓨팅 자원을 소모한다.

대표적인 예로는 Phi-2 이 있다. 이 모델은 합성 데이터셋으로 훈련된 130억개의 파라미터를 가진 작은 모델이다.

컴퓨팅 자원이 적기 때문에 모바일 장치 등 on device 에서도 실행이 가능하다. 물론 범위는 특정 작업들과 같이 좁은 범위로 한정되지만 몇 주면 훈련이 가능하다.