검색
검색
AI news 검색
회원가입로그인

New LLM 사용을 중단한 이유는 무엇인가요!!

2024-05-15
  • 새로운 LLM(대규모 언어 모델)에 더 이상 흥미를 느끼지 않게 된 이유 공유
  • 과거에는 새로운 모델마다 새로운 기능이 있었지만, 최근 작은 모델들은 벤치마크 조작에 집중
  • 특정 모델들이 벤치마크에서 높은 점수를 얻기 위해 숫자를 조작하는 것으로 의심
  • 신뢰하는 LM CIS 리더보드 벤치마크에 따르면, CLA 3 Opus가 상위에 올라감을 예로 듦
  • 모델이 출시될 때 최고의 성능을 보여주고, 사람들이 관심을 가진 후 성능이 감소하는 경향이 있음
  • 모델 합병, 모델 미세 조정 등의 방법이 모델을 개선하려는 시도이긴 하지만, 진정한 지식 측정과는 거리가 멀다고 지적
  • 벤치마크가 모델이 실제로 알고 있는 지식을 측정하기보다는 주어진 데이터에 얼마나 잘 반응하는지만을 측정한다고 비판
  • 모델의 범용성보다 특정 도메인에서의 성능에 초점을 맞추는 경향이 있다고 지적
  • 좋은 모델을 만드는 것이 벤치마크를 이기는 것에 집중되어 있음을 비판
  • 벤치마크 점수가 높은 모델이 반드시 지식을 잘 이해하고 전달하는 모델이 아닐 수 있다는 의견 제시
  • 참신하고 진정으로 지식을 활용할 수 있는 전체 시스템에 대한 관심을 표현
  • 벤치마크 성능 보다는 인류의 큰 문제를 해결할 수 있는 지식 기반 AI 시스템 개발에 더 관심이 많음
  • 일부 모델들이 교육 시스템처럼 단순히 정보를 암기하고 재현하는 방식에 집중되어 있다고 비판
  • LLM 연구가 벤치마크 점수 향상이 아닌 실질적인 지식 이해와 활용으로 방향을 전환해야 한다고 주장

2youtube.com(1littlecoder)링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.
원본 뉴스 보기