알리바바의 QWEN2 인공지능 모델 (한국어 포함)
정의
Qwen2는 알리바바에서 공개한 오픈소스형 LLM 모델이다. 프로그래밍, 수학, 논리, 다국어 이해에서 향상이 있었다고 한다.
Qwen2는 5개 사이즈의 모델로 출시되었다. Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B, and Qwen2-72B
영어와 중국어를 포함 27개 이상의 언어로 학습되었다. (한국어 포함)
27개 추가 언어 학습: 독일어, 프랑스어, 스페인어, 포르투갈어, 이탈리아어, 네덜란드어, 러시아어, 체코어, 폴란드어, 아랍어, 페르시아어, 히브리어, 터키어, 일본어, 한국어, 베트남어, 태국어, 인도네시아어, 말레이어, 라오어, 버마어, 세부아노어, 크메르어, 타갈로그어, 힌디어, 벵골어, 우르두어
기본 32K의 토큰의 컨텍스트 길이를 가지며 Qwen2-7B-Instruct and Qwen2-72B-Instruct는 128K의 컨텍스트 길이를 가진다.
특히 코딩 및 수학 성능 강화, CodeQwen1.5 데이터 통합.
다른 중국 언어 모델들처럼, Qwen2는 천안문 광장 사건과 중국 담화에서 금기시되는 다른 주제에 대한 질문에 답변을 거부하는 성향이 있음.
가장 큰 모델인 Qwen2-72B만 자체 라이센스를 적용하고 나머지 모델은 아파치 2.0 라이센스로 공개. (오픈소스)
성능
MMLU 등에서 llama3-70B를 상회하는 모습을 보이고 있다. 출처
블로그 글 : Hello Qwen2
허깅페이스 데모 : Qwen2 72B Instruct - a Hugging Face Space by Qwen
한국어로 대답을 하는 모습
