Sakana AI의 Transformer²는 언어 모델이 학습하는 데 도움을 주는 새로운 접근 방식입니다.
- 일본 AI 회사 Sakana AI가 언어 모델을 다양한 작업에 적응시키기 위한 새로운 접근 방안인 Transformer²를 도입함.
- Transformer²는 AI 시스템이 연속적으로 학습할 수 있도록 하는 진전을 나타냄.
- 이 시스템은 두 단계 학습 과정을 사용하며, Singular Value Fine-Tuning (SVF)이라는 기술로 훈련된 전문가 벡터를 활용함.
- 전통적인 방법은 네트워크 전체의 가중치를 업데이트해야 하지만, SVF는 각 네트워크 연결이 얼마나 중요한지 조절하는 벡터를 학습함.
- 이 접근 방식은 메모리와 처리 능력을 절약하며, 모델이 특정 작업에만 지나치게 특화되지 않도록 해줌.
- 강화 학습을 통해 최적의 전문가 벡터를 학습하고, 다양한 방법으로 새로운 작업에 유연하게 적응할 수 있도록 함.
- Transformer²는 기존의 LoRA에 비해 적은 파라미터로 더 높은 성능을 발휘함.
- 수학 문제 해결 시 프로그래밍 및 논리적 사고 능력을 함께 사용하여 더 나은 결과를 보임.
- 전문가 벡터를 다른 모델 간에 전이 가능, 소형 모델도 큰 모델의 전문 지식을 활용할 수 있음.
- 여전히 연속 학습에는 한계가 있으며, 70억 개 이상의 파라미터를 가진 모델에 대한 확장 가능성은 미지수임.
5the-decoder.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.