왜 LLM은 해마 이모지에 대해 당황할까요?
- 언어 모델(LLMs)은 해마 이모지가 존재한다고 강하게 믿고 있으며, 많은 모델들이 'Yes'라고 응답함.
- 해마 이모지는 존재하지 않지만, 여러 온라인 플랫폼에서 이러한 이모지가 있었던 것처럼 회자되고 있음.
- 인간과 LLM 모두 유니코드에 있는 다른 수생 동물 이모지들 때문에 해마 이모지의 존재를 가정하는 경향이 있음.
- 해마 이모지가 2018년에 공식 제안되었으나 최종 채택되지는 않았음.
- LLM은 새로운 컨텍스트 윈도우를 열 때마다 해마 이모지가 존재한다는 잘못된 믿음으로 시작함.
- logit lens라는 해석 툴을 사용하여 LLM의 내부 상태를 탐구, 모델이 '해마 + 이모지' 개념을 구축하려고 시도하는 과정을 식별함.
- lm_head는 모델의 마지막 출력 토큰을 결정하는 주요 메커니즘으로 작용하며, 이 과정에서 이모지 존재 여부가 결정됨.
- 실제로 존재하는 물고기 이모지 예시에서 모델이 성공적으로 '물고기 + 이모지' 개념을 활용하는 것을 확인할 수 있음.
- 비존재 해마 이모지에서는 모델이 자동 회귀적 컨텍스트에서 잘못된 데이터를 알아차리고 다른 이모지로 수정하려 시도함.
- 이러한 문제는 강화 학습(RL) 과정에서 개선될 가능성이 있음. RL은 모델이 lm_head의 부족한 정보를 보강하는 데 도움을 줄 수 있음.
- 직접 실행해보고자 하는 사용자를 위해 초기 스크립트가 제공됨.
5vgel.me링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.