데이터가 부족할 때, In-context learning은 LLM fine-tuning과 경쟁력이 있다.

• 연구 제목: "데이터가 부족할 때 인-컨텍스트 학습은 LLM 파인 튜닝에 경쟁력 있다."
• 연구기관: 스위스 로잔 연방 공과대학교 (EPFL)
• 목적: 인-컨텍스트 학습(ICL)과 지시 파인 튜닝(IFT)을 비교하여 대형 언어 모델(LLM) 적응 효율 분석

연구 결과 요약

• ICL과 IFT는 적은 수의 훈련 예제(최대 50개) 내에서는 성능이 유사
• 높은 품질의 데이터가 있다면, ICL은 IFT의 대안이 될 수 있음
• 복잡한 작업에서는 IFT가 더 우수
  • IFT는 여러 대화 라운드에서 ICL보다 훨씬 뛰어남
  • ICL 모델은 개별 예제 스타일에 과적합되기 쉬움

그림 및 추가 실험

• Mistral-7B-v0.2 모델의 MT-Bench 테스트에서 소수의 훈련 예제에서는 ICL과 IFT의 성능이 유사
• 훈련 예제 수가 증가하면 IFT가 명확히 우세
• URIAL 방법: 세 개의 예제와 지시 따르는 규칙을 사용하여 기본 언어 모델 훈련
  • 성능은 좋았지만, IFT로 적응된 모델보다 미흡
  • 추가 최적화된 예제 선택으로 URIAL 성능 개선

디코딩 파라미터의 중요성

• 디코딩 파라미터는 모델 성능에 큰 영향
• 기본 LLM과 URIAL을 사용하는 모델 모두에서 중요

실제 적용 의미

• ICL은 적은 훈련 예제 상황에서 효율적이고 빠르게 모델 조정 가능
• 복잡한 작업에서는 여전히 IFT가 우수
• IFT는 더 큰 데이터셋에서 성능 계속 향상, ICL은 예제 수 증가 이후 성능 정체
• 선택은 자원, 데이터 양, 적용 요구 사항 등 여러 요인에 따라 달라짐

연구 발표: NeurIPS 2024

• 연구 제목: "Is In-Context Learning Sufficient for Instruction Following in LLMs?"
• 코드: Github에서 이용 가능

중요성 강조

• ICL을 통해 가능한 한 빨리 높은 품질의 생성을 달성한 후, 파인 튜닝을 통해 최적화 및 안정화하는 것이 좋음