AI 에이전트의 성능 개선은 대개 사람이 맡는다. 프롬프트를 고치고, 도구를 붙이고, 재시도 규칙을 바꾸고, 필요하면 모델을 다시 학습시킨다. Hexo Labs가 공개한 오픈소스 SIA(Self Improving AI)는 이 개선 과정을 에이전트 시스템 안으로 끌어들이려는 프레임워크다.1
SIA의 핵심은 ‘더 좋은 답’보다 ‘더 좋은 개선 루프’다
SIA 논문의 정식 제목은 Self Improving AI with Harness & Weight Updates이며, 2026년 5월 26일 arXiv에 제출됐다.2 논문이 지적하는 병목은 명확하다. 현재 AI 시스템의 개선은 여전히 사람이 모델과 에이전트를 작성하고, 튜닝하고, 수정하는 구조에 크게 의존한다.2
SIA는 이 병목을 줄이기 위해 반복 루프를 둔다. 작업을 수행하는 에이전트가 결과와 실패를 남기면, Feedback-Agent라는 언어모델 에이전트가 이를 바탕으로 다음 세대 에이전트를 수정한다.2 여기서 수정 대상은 하나가 아니다. SIA는 에이전트의 외부 워크플로인 하네스와 모델 가중치를 모두 업데이트한다.
하네스는 모델 바깥의 행동 설계다
SIA를 이해하려면 먼저 ‘하네스’를 구분해야 한다. 하네스는 모델 자체가 아니라, 모델이 작업을 수행하도록 둘러싼 실행 구조다. 도구, 프롬프트, 재시도 로직, 탐색 절차가 여기에 포함된다.2
하네스 업데이트는 모델 가중치를 고정한 채 이 외부 구조를 바꾼다.2 예를 들어 에이전트가 어떤 도구를 언제 호출할지, 실패했을 때 어떻게 다시 시도할지, 가능한 해답 공간을 어떤 순서로 탐색할지가 달라진다. 논문은 하네스 업데이트가 에이전트의 탐색 방식과 행동 방식을 형성한다고 설명한다.2
반면 테스트 타임 트레이닝 접근은 하네스를 고정한 채 작업 피드백으로 모델 가중치를 업데이트한다.2 즉, 하나는 에이전트가 움직이는 절차를 고치고, 다른 하나는 모델 내부의 파라미터를 고친다.
SIA는 두 손잡이를 함께 잡는다
SIA의 차이는 하네스 업데이트와 가중치 업데이트를 결합한다는 데 있다. 하네스만 바꾸면 빠르게 행동 방식을 조정할 수 있지만, 작업별 패턴이 모델 내부에 충분히 축적되지 않을 수 있다. 가중치만 바꾸면 모델은 적응할 수 있지만, 도구 사용 방식이나 탐색 절차 같은 외부 실행 구조는 그대로 남는다.
SIA는 Feedback-Agent가 작업별 에이전트의 하네스와 가중치를 모두 업데이트하는 루프를 사용한다.2 따라서 에이전트 개선을 “프롬프트 엔지니어링을 자동화하는 것” 정도로만 볼 수 없다. SIA가 겨냥하는 것은 모델 바깥의 절차와 모델 안의 학습을 함께 조정하는 자기 개선 구조다.
성능 수치는 가능성을 보여주지만, 과대해석은 조심해야 한다
논문은 SIA를 세 영역에서 평가했다. 중국 법률 혐의 분류, 저수준 GPU 커널 최적화, 단일세포 RNA 노이즈 제거다.2 보고된 결과는 인상적이다. LawBench에서는 기준선 대비 56.6% 향상, GPU 커널에서는 런타임 91.9% 감소, 단일세포 RNA 노이즈 제거에서는 초기 기준선 대비 502% 향상을 보였다.2
또한 논문은 하네스 업데이트와 가중치 업데이트를 결합한 방식이 세 벤치마크 모두에서 스캐폴드 반복만 사용한 방식보다 성능이 높았다고 보고했다.2
다만 이 결과가 곧 범용적인 “스스로 진화하는 AI”의 완성을 뜻하지는 않는다. 더 신중하게 봐야 할 지점은 따로 있다. SIA는 에이전트 성능 개선의 단위를 답변 품질 하나로 보지 않고, 실패 기록, 실행 절차, 모델 적응까지 포함한 시스템 루프로 확장한다.
실용적 교훈: 에이전트는 개선 가능하게 설계해야 한다
SIA가 주는 가장 현실적인 메시지는 간단하다. 좋은 에이전트는 좋은 모델만으로 만들어지지 않는다. 개선이 누적되려면 작업이 평가 가능해야 하고, 실행 로그가 남아야 하며, 워크플로는 수정 가능해야 한다. 필요할 때는 모델 가중치 업데이트까지 고려해야 한다.
따라서 에이전트를 평가할 때도 질문이 달라져야 한다. “지금 답을 잘하는가?”만 볼 것이 아니라 “실패를 기록하는가?”, “절차를 바꿀 수 있는가?”, “피드백을 다음 실행에 반영할 수 있는가?”를 함께 봐야 한다.
SIA의 의미는 AI가 완전히 자율적으로 진화한다는 선언이 아니다. 사람이 하던 개선 작업의 일부를 하네스와 가중치 업데이트라는 두 경로로 구조화하고, 이를 반복 가능한 루프로 만든 데 있다.
1GitHub - hexo-ai/sia: SIA is a Self Improving AI framework
2[2605.27276] SIA: Self Improving AI with Harness & Weight Updates
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.