LLMs는 연구 결과 예측에서 신경과학자들을 능가할 수 있다.
- 새로운 연구에 따르면, 대형 언어 모델(LLM)이 인간 신경과학자들보다 연구 결과 예측에서 더 높은 정확성을 보인다.
- 이 연구는 유니버시티 칼리지 런던(University College London)에서 수행되었고, Nature 저널에 발표되었다.
- AI 모델은 81.4%의 예측 정확도를 기록한 반면, 인간 전문가들은 63.4%에 그쳤다.
- "BrainBench"라는 테스트에는 평균 10.1년 경력의 171명의 신경과학자들이 참여했고, AI 모델은 더 많은 사례를 테스트했다.
- 최고의 인간 전문가들조차 66.2%의 정확도에 그쳤으며, 사용된 AI 모델은 최신 버전이 아닌 오픈 소스 모델이었다.
- AI 모델인 Galactica, Falcon, Llama 2는 신경과학 논문의 결과를 예측하는 데 인간 전문가를 능가했다.
- AI 시스템은 모든 신경과학 분야에서 우수한 성능을 보였으며, 단순히 기억하는 것이 아닌 일반적인 패턴과 틀을 형성하는 방식으로 과학 논문을 처리했다.
- 연구자들은 현재의 과학이 실제로 새롭지 않고 기존의 문헌 패턴을 따르고 있을 가능성을 제기했다.
- 대형 모델뿐 아니라 소형 모델들(Llama2-7B, Mistral-7B)도 높은 예측 정확도를 보였다.
- 사용자 맞춤형 모델 "BrainGPT"는 예측 정확도를 더욱 높였다.
- AI와 인간 모두 자신감이 높을 때 예측의 정확도도 높았다.
- 연구는 AI가 미래의 과학 연구 설계와 실행 방식에 큰 변화를 가져올 수 있음을 시사한다.
- AI 예측을 바탕으로 실험 디자인을 수정하면 더 빠르고 정확한 역설적 접근이 가능할 수 있다.
- 그러나 연구자들은 AI 예측과 일치하지 않는 연구를 피할 가능성과, 예측이 높은 자신감을 보이는 결과가 덜 중요하게 여겨질 위험성을 경고했다.
4the-decoder.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.