Mistral 7B - MistalAI의 새로운 LLM

미스트랄 7B

구글 딥마인드와 메타 출신이 설립한 Mistral AI가 발표한 LLM 모델이다. 아파치 2.0으로 완전 공개되었으며 누구나 다운로드 받아서 사용할 수 있다. 미스트랄AI에 따르면 여러 면에서 Mistral 7B는 llama 34B에 준하는 성능을 보였다고 한다.

Mistral 7B

생각

작은 모델로 높은 성능을 보이는 것 같다. 특이한 점은 Grouped-query attention (GQA) 를 통해 빠른 추론을 사용했다는 것이다. 또 Sliding Window Attention (SWA) 을 사용해서 더 긴 시퀀스를 적은 비용으로 처리할 수 있다고 한다. 어텐션 기법을 효율적으로 개선하려는 것 같다.

미스트랄 AI는 프랑스에 본사를 두고 있고 제품이 나오기 전 높은 투자를 받은 것으로 알려져 있다. 설립 한달 만에 시드투자로 1억 천 300만달러의 시드 투자를 받았다. 이번 7B는 이들의 성과 중 하나이다.