Google gemma - 구글이 경량 오픈 모델을 공개했습니다.

구글이 오픈형 AI 모델인 젬마를 공개했습니다. 이 모델은 제미나이(Gemini) 개발의 핵심 기술과 연구를 기반으로 제작된 경량 오픈 모델입니다. 상업적 목적으로 인공지능 개발에 활용할 수 있습니다.

모델은 2B와 7B 두 가지라고 합니다.

책임감 있는 생성형 AI 툴킷(Responsible Generative AI Toolkit)은 젬마를 활용하여 더욱 안전한 AI 애플리케이션을 제작할 수 있도록 가이드와 필수 도구를 제공합니다. 오픈 모델은 안전성 이슈가 있을 수 있는데 이를 신경쓴 것 같습니다.

케라스(Keras) 3.0을 기반으로 JAX, PyTorch, TensorFlow와 같은 주요 프레임워크에서 추론 및 지도 학습(supervised fine-tuning,SFT)을 위한 툴체인을 제공합니다.

사전 훈련 및 지시 조정된 젬마 모델은 노트북, 업무용 컴퓨터 또는 구글 클라우드에서도 이용 가능하며 버텍스 AI, 구글 쿠버네티스 엔진을 이용해 쉽게 설치할 수 있습니다. 노트북이나 데스크탑 컴퓨터에서도 바로 실행될 수 있을 것 같습니다.

LLM 리더보드에 따르면 다음과 같은 성능을 보이네요.

데모는 여기에서 활용할 수 있습니다. https://huggingface.co/chat?model=google/gemma-7b-it

출처 : 구글의 최첨단 오픈 모델 ‘젬마(Gemma)’를 공개합니다

참고 : Welcome Gemma - Google’s new open LLM

생각

구글이 오픈 모델을 내놓을지는 몰랐네요. 지원도 굉장히 많이 하는 것 같습니다.

리더보드에서는 같은 급의 mistral과 llama 보다는 높게 나왔네요.

모델 중에 gemma-7b-it 처럼 it 이 표시되는 모델이 있는데 "instruction-tuned" 의 뜻으로 지시(instruction)를 따르게 파인튜닝 된 것을 말합니다.

사용자 컴퓨터에서 작동하게 만들고 개발자 오픈 커뮤니티를 지원하면서 자신의 영역을 구축하려는 것 같습니다.

공부하면서 오픈 소스 모델과 오픈 모델(=개방형 모델)의 차이점이 있는 줄 처음 알았네요. 오픈 모델은 가중치 등을 공개하지만 사용 조건에 특정 사용 조건이 있는 것을 말합니다. 젬마의 경우는 다음과 같이 정의되어 있습니다. Building Open Models Responsibly in the Gemini Era

오늘날 Gemma 모델은 업계에서 "오픈 모델"이라고 부르기 시작한 모델로 출시되고 있습니다. 개방형 모델은 모델 가중치에 대한 무료 액세스를 제공하지만 사용 조건, 재배포 및 변형 소유권은 오픈 소스 라이선스를 기반으로 하지 않을 수 있는 모델의 특정 사용 조건에 따라 다릅니다. Gemma 모델의 사용 약관을 통해 개인 개발자, 연구원 및 상용 사용자가 액세스하고 재배포할 수 있도록 무료로 제공됩니다. 사용자는 모델 변형을 자유롭게 생성하고 게시할 수도 있습니다. Gemma 모델을 사용할 때 개발자는 이 기술에 대한 접근성을 높이면서 책임감 있게 AI를 개발하겠다는 우리의 약속을 반영하여 유해한 사용을 피하는 데 동의합니다.