Amazon Chronos: 시계열 언어 학습
- 본문은 공개 데이터셋과 가우시안 프로세스를 통해 생성된 합성 데이터셋에 기반한 T5 가족 기반의 Chronos 모델을 사전학습하는 내용입니다.
- Chronos는 시계열 값을 고정된 어휘로 스케일링 및 양자화하여 토크나이징하고, 교차 엔트로피 손실을 사용하여 토큰화된 시계열에 대해 기존 변환기 기반 언어 모델 아키텍처를 훈련합니다.
- Chronos 모델은 42개의 데이터셋으로 구성된 포괄적 벤치마크에서 기존의 로컬 모델 및 딥러닝 방법에 비해:
- (a) 훈련 코퍼스의 일부였던 데이터셋에서 다른 방법보다 눈에 띄게 높은 성능을 보입니다.
- (b) 새로운 데이터셋에서도 특별히 훈련되지 않은 방법들보다 비슷하거나 때때로 우수한 제로샷 성능을 보입니다.
- Chronos 모델은 다양한 도메인의 시계열 데이터를 이용해 보지 못한 예측 작업에서의 제로샷 정확도를 개선하는 데 활용될 수 있음을 보여줍니다.
- 추론 코드와 모델 체크포인트는 제공된 HTTPS URL에서 사용 가능합니다.
- 주제: 머신러닝(cs.LG), 인공지능(cs.AI)
- 본문은 arXiv의 cs.LG 섹션(또는 cs 및 cs.AI와 관련된 다른 카테고리)에 게시되었습니다.
- 이 문서의 작성자 중 일부는 arXivLabs 프로젝트에 참여하고 있으며, 공개적이고, 커뮤니티 중심적이며, 우수성을 추구하고, 사용자 데이터의 사생활을 존중하는 arXiv의 가치를 받아들입니다.
4arxiv.org링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.