Sakana AI 현황 - 일본어에 특화된 LLM 개발

Sakana AI는 자연에서 영감을 받은 진화와 집단 지능을 활용하여 새로운 기반 모델을 자동으로 생성하는 기술을 개발 중.

Evolutionary Model Merge (진화 모델 병합) 방법을 통해 다양한 오픈 소스 모델을 결합하여 사용자 지정 응용 도메인에 적합한 새로운 기반 모델을 자동으로 생성.

이 방법은 수작업으로 발견하기 어려운 모델 병합 방식을 자동으로 발견할 수 있음.

일본어 수학 추론 모델과 일본어 비전-언어 모델(VLM)을 자동으로 진화시켜 여러 벤치마크에서 최첨단 결과를 달성.

모델 병합 시 진화 알고리즘을 사용하여 데이터 흐름 공간(레이어) 및 파라미터 공간(가중치)에서 최적의 결합 방식을 탐색.

일본 시장을 위해 3개의 강력한 기반 모델을 개발: EvoLLM-JP(일본어 대형 언어 모델), EvoVLM-JP(일본어 비전-언어 모델), EvoSDXL-JP(이미지 생성 모델).

EvoLLM-JP는 수학 문제 해결 및 일반 일본어 능력에서 높은 성과를 보이며 공개됨.

EvoVLM-JP는 일본 관련 콘텐츠를 잘 처리하며 기존 모델보다 우수한 성과를 보임.

EvoSDXL-JP는 일본어 프롬프트로 이미지를 생성할 수 있으며, 진화 방법을 통해 빠른 속도로 이미지 생성 가능.

진화 기반 모델 병합 방법은 GPU를 거의 사용하지 않고도 모델을 자동으로 생성할 수 있어 비용 효율적.

향후 진화적 AI의 잠재력을 더 깊이 탐구할 계획.

Sakana AI