BitNet: Microsoft가 AI 모델을 다이어트하는 방법을 보여주다
- BitNet b1.58 2B4T는 Microsoft의 새로운 언어 모델로, 최소한의 에너지와 메모리 사용으로 작동하도록 설계되었습니다.
- 1.58 비트의 가중치를 사용하여 메모리 요구 사항과 에너지 소비를 줄이고, 응답 시간을 개선합니다.
- 표준 트랜스포머 아키텍처에 기반하면서도 효율성을 위해 BitLinear 레이어와 8비트 활성화 함수 등 여러 수정을 포함하고 있습니다.
- 4조 개의 단어로 훈련되었으며, 특히 도움적이고 안전한 응답을 생성하도록 최적화되었습니다.
- BitNet은 다른 소형 모델보다 뛰어나고, 보다 큰 시스템과 경쟁할 수 있는 성능을 보입니다.
- 0.4 GB의 메모리만 필요하여 노트북이나 클라우드 환경에서 쉽게 배포할 수 있습니다.
- Microsoft는 BitNet의 채택을 촉진하기 위해 GPU와 CPU 실행을 위한 전용 추론 도구를 출시했습니다.
- 향후 긴 텍스트, 추가 언어, 이미지와 같은 멀티모달 입력을 지원할 계획입니다.
- 또 다른 효율적인 모델 군인 Phi 시리즈도 개발 중입니다.
3the-decoder.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.