최근 OpenAI가 개발자용 API를 업데이트하면서 "말이 끊기지 않는 음성 에이전트"와 "더 빠르게 일하는 에이전트"를 만들기 쉬워졌다는 소식이 나왔습니다.1 한마디로, 데모 수준에서 멈추던 에이전트가 실제 업무 흐름에 더 가까이 들어왔다는 뜻입니다.
이번 글에서는 단순 뉴스 요약이 아니라, 왜 이 변화가 생겼는지(기술적 병목), 무엇이 달라졌는지(Responses API의 핵심 업그레이드), 그리고 개발자가 당장 설계에 반영할 포인트까지 한 번에 정리해보겠습니다.
서버사이드 컴팩션: "대화가 길면 멍해지는 문제"를 끝내는 방법
에이전트를 오래 돌려본 분이라면 공감할 겁니다. 처음엔 똑똑한데, 툴을 몇 번 호출하고 로그가 쌓이면 점점 딴소리를 하거나 앞에서 한 결정을 잊어버리죠. 원인은 간단합니다. 에이전트가 '기억'으로 쓰는 대화 기록이 길어지면 토큰 한도에 부딪히고, 결국 개발자가 앞부분을 잘라내야 하기 때문입니다.
OpenAI가 내놓은 해법이 "서버사이드 컴팩션(Server-side Compaction)"입니다. 잘라내는 대신, 진행 중인 세션의 중요한 결정·상태·근거를 서버 측에서 압축해 유지하는 방식이라 장시간 작업에 유리합니다.2 실제로 한 에이전트가 500만 토큰 규모 세션과 150회 도구 호출을 버텼다는 사례도 공유됐습니다.3 요약하면, '기억상실'을 막기 위해 대화창을 늘리는 게 아니라, 상태를 정리해가며 달린다는 느낌입니다.
개발 관점에서 이게 좋은 이유는 상태 관리 코드가 줄어든다는 점입니다. "어디까지 했지?"를 매번 프롬프트에 다시 주입하는 대신, 장기 작업은 컴팩션에 맡기고 우리는 업무 규칙과 예외 처리에 집중할 수 있습니다.
Hosted Shell Containers: 에이전트에게 '터미널+작업실'을 빌려주는 변화
두 번째 변화는 에이전트 실행 환경입니다. 이제 Responses API에서 OpenAI가 호스팅하는 컨테이너(예: Debian 기반)를 통해 터미널 작업을 수행하도록 설계할 수 있습니다.2 파이썬 같은 런타임과 저장 공간(/mnt/data)이 제공돼, 에이전트가 파일을 만들고 저장하고 결과물을 꺼내는 흐름이 자연스러워졌죠.2
이게 왜 "에이전트 속도"와 연결되냐면, 팀이 직접 샌드박스를 만들고 보안·격리·아티팩트 저장까지 챙기던 시간이 줄어들기 때문입니다. 예전엔 에이전트에게 코드를 실행시키려면 '실행기'부터 만들었는데, 이제는 "지시하면 돌아가는 작업실"을 API 옵션으로 가져오는 쪽에 가까워졌습니다.
다만 보안팀 입장에선 반대로 긴장 포인트도 생깁니다. 셸과 네트워크가 열리는 순간부터는 "무엇을 실행할 수 있게 허용할 것인가"가 핵심 질문이 됩니다. 그래서 도메인 시크릿, 조직 단위 허용 목록 같은 방어 장치가 함께 언급됩니다.2 즉, 편해진 만큼 권한 설계가 제품 품질을 좌우합니다.
Agent Skills: 프롬프트가 아니라 '버전 있는 업무 매뉴얼'로 관리하기
세 번째는 스킬(Skills)입니다. 길고 복잡한 절차를 매번 시스템 프롬프트에 붙여넣는 대신, 지침·스크립트·파일을 묶어 "필요할 때만 불러 쓰는 패키지"로 만든다는 개념입니다.4 ZIP 기반 배포와 버전 고정이 가능해서, 운영 환경에서 "어제는 되던 게 오늘은 왜 깨져?" 같은 사고를 줄이는 데 도움이 됩니다.4
흥미로운 건 이 스킬이 특정 회사만의 기능이라기보다, SKILL.md 형태의 오픈 규격으로 흘러가고 있다는 점입니다.2 덕분에 팀 내부에선 '업무 레시피'를 자산처럼 쌓을 수 있고, 외부 생태계에선 검증된 스킬을 가져다 쓰는 흐름도 빨라집니다. 한 기업이 스킬 프레임워크 활용으로 툴 정확도가 73%에서 85%로 올랐다는 언급도 있었는데2, 이런 수치는 "프롬프트 튜닝"보다 "절차를 제품화"했을 때 성능이 안정되는 경향을 보여줍니다.
실전 팁은 간단합니다. 스킬은 문서가 아니라 "작은 CLI 프로그램"처럼 만들고, 운영에선 버전을 고정하세요.4 그러면 에이전트가 장기적으로 '일관된 방식'으로 일합니다.
시사점
이번 OpenAI API 업그레이드는 한 줄로 요약하면 "에이전트를 오래, 빠르고, 덜 불안하게 굴릴 수 있는 기본 인프라를 플랫폼이 가져갔다"입니다.1 컴팩션은 장기 작업의 기억 문제를, Hosted Shell은 실행 환경 문제를, Skills는 재사용과 운영 안정성 문제를 각각 정면으로 건드립니다.
개발자가 당장 할 일은 거창하지 않습니다. 장기 세션이 필요한 업무(리서치, 정산, 리포트 생성, 배치성 운영)를 먼저 골라 컴팩션 전제로 설계해보세요. 그리고 코드를 실행해야 하는 순간이 온다면, "우리 서버에서 돌릴까?"보다 "호스티드 컨테이너로 격리할까?"를 먼저 검토하는 게 총 개발 시간을 줄일 가능성이 큽니다. 마지막으로 팀의 반복 업무는 프롬프트가 아니라 스킬로 패키징해, 버전과 권한으로 통제하세요. 에이전트는 똑똑한 것보다 "예측 가능하게 일하는 것"이 더 오래 살아남습니다.
참고
1OpenAI ships API upgrades targeting voice reliability and agent speed for developers
2OpenAI upgrades its Responses API to support agent skills and a complete terminal shell
4OpenAI upgrades Responses API with features built specifically for long-running AI agents
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.