LLM의 하드웨어 가속: 종합 조사 및 비교
- 제목: Hardware Acceleration of LLMs: A comprehensive survey and comparison
- 요약:
- 대형 언어 모델(LLMs)은 자연어 처리 작업에서 강력한 도구로 나타났으며, 인간과 같은 텍스트를 이해하고 생성하는 능력으로 분야에 혁명을 일으켰다.
- 이 논문에서는 하드웨어 가속기를 사용하여 대형 언어 모델을 위한 트랜스포머 네트워크의 가속화를 위한 여러 연구 노력을 종합적으로 조사한다.
- 다양한 프레임워크를 제안하고 기술, 처리 플랫폼(FPGA, ASIC, 인메모리, GPU), 속도 향상, 에너지 효율성, 성능(GOPs), 에너지 효율성(GOPs/W)에 대한 질적 및 양적 비교를 수행한다.
- 주요 도전 과제는 각각의 제안된 방식이 다른 공정 기술에서 구현되어 공정한 비교가 어렵다는 것이다.
- 논문의 주요 기여는 동일한 공정 기술에서 성능 및 에너지 효율성 결과를 추출하여 공정한 비교를 만드는 것이다; 이론적 및 실용적인 비교 포함.
- 여러 FPGA 칩에서 LLM의 일부를 구현하여 결과를 동일한 공정 기술로 추출하고, 성능의 공정한 비교를 수행한다.
- 제출 이력:
- 작성자: Christoforos Kachris
- 제출일: 2024년 9월 5일 (UTC 기준 09:43:25) (파일 크기: 1,209 KB)
5arxiv.org링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.