Reflexion - 시행착오를 통해 학습하는 인공지능 개념

Reflexion은 AI 프레임워크 개념이다. 인공지능이 인간이 자기 반성 (self-reflection) 을 하듯이 인공지능도 실행과 실수에 의한 배움으로 향상을 한다는 개념이다.

arxiv에 리서치 페이퍼로 공개가 됐다. Reflexion: an autonomous agent with dynamic memory and self-reflection

연구자들은 이를 코드로 구현해서 HumanEval 코드 테스트로 측정을 해서 결과를 공개했다. 참고로 HumanEval은 openai에서 만든 인공지능이 만든 코드를 벤치마킹하는 테스트셋이다.

그 결과 Reflexion + GPT-4가 기존의 GPT-4를 뛰어넘은 것을 알 수 있다.

이런식으로 실행해보고 솔루션을 수정해서 반복을 하는 형태이다. 어떻게 보면 다시 피드백을 받아 다시 실행하면 결과가 좋아지는게 당연하겠지만 이를 자율적으로 실행한다는 것에 의미가 있는 것 같다.

전체 자세한 설명은 만든 사람의 substack 블로그 글에서 확인할 수 있다. Reflecting on Reflexion

솔직히 gpt 3.5에서 코드 개선은 한계가 있다고 생각했었다. 왜냐하면 똑같은 대답이 계속나왔기 때문이다. 하지만 gpt 4로 넘어가면서 incontext learning 과 늘어난 토큰으로 인해 학습이 가능하고 점진적인 개선이 가능한 것으로 보인다.