AI 에이전트를 운영할 때 비용과 보안 문제는 종종 사후에 드러납니다. 로그와 트레이스를 보면 무엇이 일어났는지는 알 수 있지만, 그때는 이미 불필요한 모델 호출 비용이 발생했거나 민감 정보가 외부 모델로 전달된 뒤일 수 있습니다.
LangSmith LLM Gateway는 이 문제를 사전에 다루기 위한 런타임 거버넌스 계층입니다. 현재 프라이빗 베타로 제공되며, LangSmith 플랫폼 안에서 에이전트의 LLM 호출을 통제 가능한 경로로 만드는 데 초점을 둡니다.1
관측에서 실행 전 통제로
LLM Gateway는 에이전트와 LLM 제공자 사이에 위치합니다.1
애플리케이션이 OpenAI, Anthropic 같은 모델을 직접 호출하는 대신, 요청이 먼저 게이트웨이를 거치도록 하는 구조입니다.
이 위치가 중요합니다. 기존 관측 도구가 “무슨 일이 있었는가”를 보여준다면, 게이트웨이는 “모델에 도달하기 전에 무엇을 막을 것인가”를 결정합니다. 실제로 LangSmith LLM Gateway는 요청이 모델에 도달하기 전에 비용 제한을 적용하고, 민감 데이터를 삭제하거나 마스킹할 수 있습니다.1
즉, 비용 폭주나 민감 정보 노출을 사후 분석 대상으로만 남기지 않고, 런타임에서 정책으로 다루는 방식입니다.
비용 관리는 청구서가 아니라 요청 경로에서 시작된다
LLM Gateway는 조직, 워크스페이스, 사용자, API 키 단위로 지출 한도를 설정할 수 있습니다.1
한도에 도달하면 에이전트는 명확한 오류와 함께 402 응답을 받습니다.1
이 기능의 실질적인 가치는 “비용을 볼 수 있다”가 아니라 “비용이 더 발생하기 전에 멈출 수 있다”에 있습니다. 예를 들어 에이전트가 반복 호출 루프에 빠지거나 특정 기능이 예상보다 많은 모델 호출을 만들 때, 정책이 요청 경로에서 직접 작동합니다.
또한 워크스페이스, 사용자, API 키별 실시간 비용 집계를 제공하므로 어떤 팀, 사용자, 기능이 비용을 발생시키는지도 더 빠르게 파악할 수 있습니다.1 월말 청구서를 보고 원인을 추적하는 방식보다 운영 대응이 쉬워집니다.
민감 정보는 모델 호출 전에 제거한다
보안 측면에서도 핵심은 사전 처리입니다. LangSmith LLM Gateway는 요청과 응답에서 PII와 시크릿을 감지해 모델 호출 또는 트레이스 기록 전에 제거합니다.1
이는 단순한 로그 마스킹과 다릅니다. 문제가 된 데이터가 트레이스에 남은 뒤 숨기는 것이 아니라, 모델 호출 또는 기록 이전 단계에서 삭제하거나 마스킹하는 방식입니다. 주민번호, API 키, 토큰 같은 정보가 프롬프트나 응답 흐름에 섞일 수 있는 환경에서는 이 차이가 큽니다.
정책 이벤트와 트레이스를 함께 본다
거버넌스 기능이 별도 도구에 흩어지면 운영자는 다시 여러 화면을 오가야 합니다. LangSmith LLM Gateway는 정책이 발동될 때 해당 이벤트를 LangSmith로 직접 전달하도록 설계됐습니다.1
또한 별도 대시보드, 감사 로그, 도구 없이 정책 이벤트와 트레이스를 연결해 볼 수 있도록 설계됐습니다.1 차단된 요청만 확인하는 것이 아니라, 어떤 프롬프트, 도구 호출, 에이전트 흐름에서 정책이 발동됐는지 이어서 추적할 수 있습니다.
LangSmith를 이미 관측과 평가에 사용하고 있는 팀이라면 이 점이 특히 중요합니다. 개발, 디버깅, 평가, 정책 집행의 맥락이 분리되지 않고 같은 운영 흐름 안에 가까워지기 때문입니다.
결론: LLM 호출에도 운영 경계가 필요하다
LangSmith LLM Gateway의 핵심은 LLM 호출을 통제 가능한 인프라 경계로 만든다는 점입니다. 비용 제한, 민감 정보 제거, 정책 이벤트 추적이 모델 호출 전후의 같은 흐름 안에 들어옵니다.
도입을 검토할 때 볼 질문은 분명합니다.
에이전트의 비용 폭주를 발생 전에 막을 수 있는가?
민감 정보가 모델이나 트레이스에 남기 전에 제거되는가?
정책 위반이 발생했을 때 원인 흐름을 바로 추적할 수 있는가?
이 질문에 답하기 어렵다면, LLM Gateway 같은 런타임 거버넌스 계층은 단순한 비용 절감 도구가 아니라 에이전트 운영을 위한 안전장치에 가깝습니다.
1LangSmith LLM Gateway: runtime governance built into the agent lifecycle
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.