1비트 LLMs가 AI의 에너지 수요를 해결할 수 있습니다
- AI 시스템을 위한 1비트 LLMs가 에너지 수요를 해결할 수 있음
- 큰 언어 모델은 점점 더 좋아지고 있지만, 더 큰 에너지와 계산력을 요구함
- 연구자들은 이를 해결하기 위해 메모리를 1비트나 -1로 대폭 줄이는 방법을 찾음
- PTQ(Post-training quantization)와 QAT(Quantization-aware training)이라는 두 가지 접근 방식이 있음
- 비트넷(BitNet)이라는 QAT 방법을 사용하여 1비트 LLMs를 생성, 이는 기존 모델보다 에너지 효율이 10배 높음
- BitNet 1.58b는 훈련된 LLMs보다 2.71배 빠르고, 72% 적은 GPU 메모리를 사용하며, 94% 적은 GPU 에너지를 사용함
- 새로운 하드웨어는 이러한 모델을 완전히 활용할 수 있지만, 아직 개발 중임
- 1비트 LLMs는 처리 속도가 빠르고, 데이터 전송이 적으며, 작은 칩에 맞출 수 있어 여러 장점이 있음
3spectrum.ieee.org링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.