New LLM 사용을 중단한 이유는 무엇인가요!!
- 새로운 LLM(대규모 언어 모델)에 더 이상 흥미를 느끼지 않게 된 이유 공유
- 과거에는 새로운 모델마다 새로운 기능이 있었지만, 최근 작은 모델들은 벤치마크 조작에 집중
- 특정 모델들이 벤치마크에서 높은 점수를 얻기 위해 숫자를 조작하는 것으로 의심
- 신뢰하는 LM CIS 리더보드 벤치마크에 따르면, CLA 3 Opus가 상위에 올라감을 예로 듦
- 모델이 출시될 때 최고의 성능을 보여주고, 사람들이 관심을 가진 후 성능이 감소하는 경향이 있음
- 모델 합병, 모델 미세 조정 등의 방법이 모델을 개선하려는 시도이긴 하지만, 진정한 지식 측정과는 거리가 멀다고 지적
- 벤치마크가 모델이 실제로 알고 있는 지식을 측정하기보다는 주어진 데이터에 얼마나 잘 반응하는지만을 측정한다고 비판
- 모델의 범용성보다 특정 도메인에서의 성능에 초점을 맞추는 경향이 있다고 지적
- 좋은 모델을 만드는 것이 벤치마크를 이기는 것에 집중되어 있음을 비판
- 벤치마크 점수가 높은 모델이 반드시 지식을 잘 이해하고 전달하는 모델이 아닐 수 있다는 의견 제시
- 참신하고 진정으로 지식을 활용할 수 있는 전체 시스템에 대한 관심을 표현
- 벤치마크 성능 보다는 인류의 큰 문제를 해결할 수 있는 지식 기반 AI 시스템 개발에 더 관심이 많음
- 일부 모델들이 교육 시스템처럼 단순히 정보를 암기하고 재현하는 방식에 집중되어 있다고 비판
- LLM 연구가 벤치마크 점수 향상이 아닌 실질적인 지식 이해와 활용으로 방향을 전환해야 한다고 주장
2youtube.com(1littlecoder)링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.