검색
검색
회원가입로그인

틸노트 인공지능 뉴스레터 12월 1주차 - Q* 루머, text to video 인공지능

page thumbnail

샘 올트먼과 그렉 브록만이 OpenAI로 돌아오고 시간이 흘렀습니다. GPT Store는 내년 1분기로 연기되었습니다.

무엇보다 OpenAI가 새로운 연구결과를 냈다고 알려진 Q* (q star) 에 대한 이야기가 많네요. 현재 LLM은 경사하강법에 의한 최적화 기법을 사용합니다. (패턴 인식) 그래서 근본적인 추론 (생각) 능력은 한계가 있습니다. 최근 Q* 가 초등학교 수준의 수학 문제를 풀 수 있었다는데 있어 이런 사고 능력에 있어 작은 돌파구를 마련한게 아닌가 하는 추측이 있습니다. 이 기술은 Q-learning 과 A-Star 테크닉의 혼합체라고 합니다.

Q 스타가 무엇인지 공개되지는 않았기 때문에 추측이 많습니다. 이전 OpenAI에서 수학 문제를 해결하는데 사용한 과정 감독 (Process supervision)의 보상에 의한 강화학습과 관련이 있을 수 도 있다고 합니다. 전문가들은 계획(planning) 기능과 LLM을 결합할 것으로 예상하기도 합니다. (Tree of thoughts, 몬테 카를로 탐색 등) 계획 기능이 맞다면 알파고를 통합하는 Gemini 아이디어와 유사할 것 같습니다.

저는 좀 더 유연한 강화학습과 계획 기능을 결합한게 아닐까 추측해 봅니다. 이런 논의가 지속되는건 이런 유형의 인공지능이 나온다면 좀 더 많은 문제를 해결할 수 있을 것으로 예상되기 때문입니다. (초기 버전의 agi?) 아직은 추측이기 때문에 추후 지켜보면 될 것 같습니다.

오늘은 서론이 길었네요. 12월 첫주의 뉴스레터를 시작합니다.

그럼 즐겁고 편안한 한 주 되세요~!

조회수 : 309
공유하기
카카오로 공유하기
페이스북 공유하기
트위터로 공유하기
url 복사하기