LG 엑사원딥 로컬 설치(exaone-deep-32b)

집에서 주로 온디바이스 형태로 사용할 언어모델이 필요했다.
인공지능 언어모델을 사용하기 위한 소프트웨어는 일반적으로 Ollama와 LM studio다.

현재 나의 Ollama에는 딥시크 R1이 설치되어 있지만 논란이 있기도 했고 사실 그것보다는 한글 인식이 다소 아쉬워서 LM studio를 설치하고 Mistral small 3.1 24B instruct 2503을 설치해서 가끔 사용하고 있었다.

그러다가 LG에서 엑사원딥이 나왔다는 소식을 듣고 미루다가 이번에 설치를 해보았다.

LM studio에서 왼쪽의 Discover를 선택한다.

그리고 모델을 선택해보자. 제일 많이 다운로드 했던 거나 좋아요가 나온 것을 위주로 보았다.

위의 사진에는 Use in New Chat으로 되어있는데 그것은 다운로드를 이미 내가 받았기 때문이고 안 받은 모델을 선택하면 아래와 같이 나온다. 그것을 다운로드 한다.

그러면 해당 gguf 파일이 다운로드가 된다.

LG 엑사원딥은 별도의 설정이 필요하다.

위에서 보면 톱니바퀴 모양의 설정을 누른다.

위와 같이 설정한다. 출처는 아래와 같다.(아래 출처에서 LM studio 부분을 찾으면 된다)
GitHub - LG-AI-EXAONE/EXAONE-Deep: Official repository for EXAONE Deep built by LG AI Research

그 다음으로는 아래와 같이 해준다.

마지막으로 온도 설정 등을 해준다.

Temperature: 0.6
Top P sampling 0.95
이건 inference에서 해줬는데 나도 이게 맞는지는 모르겠다.

내 컴퓨터 사양은 아래와 같다.(간략하게)
i7 14700
64ram
4070 ti super(vram 16)

확실히 32B는 느리다. 그래도 돌아가긴 한다.