수익을 내는 AI 백그라운드 작업자 구축: CI 통합, 안전 가드레일, SWE-CI 평가, 로컬/오픈웨이트 운영 가이드

핵심 요약

• 주요 발견사항

  • 백그라운드 에이전트는 “루프 + CI + 가드레일” 구조로 설계해야 지속 운영이 가능하다. 특히 Plan-Approve-Execute(계획-승인-실행)와 최소 권한(RBAC)·샌드박스가 필수다.

  • SWE-CI는 단발성 패치가 아니라 “수십 라운드의 코드 진화 과정에서 회귀를 통제하는 능력”을 측정한다. EvoScore로 다음 변화까지 버티는가를 본다³.

  • SWE-Bench Pro는 오염(훈련 데이터 중복) 방지를 위해 GPL 등 카피레프트 리포를 사용하고, “해결률(Resolve Rate)=이슈 해결+회귀 없음”을 엄격히 본다. 상위 모델도 공용 세트에서 약 23% 수준에 머무르며 난도가 크게 높다¹. 이는 단기 벤치마크 70%대와의 격차를 보여준다.

  • Helios(바이트댄스)는 14B 비디오 모델로 단일 H100에서 19.5 FPS에 근접하며 분 단위 영상을 지원한다. 텍스트·이미지·비디오 입력을 단일 모델로 처리하고, 학습 단계에서 드리프트(일관성 붕괴)를 시뮬레이션해 장시간 안정성을 높였다⁴⁵.

  • 로컬/오픈웨이트 운영은 비용·속도·데이터 통제에 유리하다. 엔진 선택은 워크로드에 따라 달라진다: vLLM(안정·호환), SGLang(멀티턴·에이전트 캐시 최강), LMDeploy(정량화·초저지연)⁷.