시스템 인스트럭션으로 나만의 AI 만들기

시스템 인스트럭션은 대화의 기본 규칙이다

프롬프트가 "이번에 무엇을 해줘"라고 요청하는 말이라면, 시스템 인스트럭션은 "너는 앞으로 어떤 방식으로 행동해야 해"라고 정하는 기본 규칙이다. Google AI Studio에서 시스템 인스트럭션은 모델이 사용자의 프롬프트를 처리하기 전에 먼저 참고하는 안내로, 역할, 말투, 응답 형식, 제약 조건을 대화 전반에 적용하는 데 쓰인다.¹

예를 들어 매번 "너는 10년 차 디지털 마케팅 전문가이고, SEO 관점에서 평가해줘"라고 쓰지 않아도 된다. 시스템 인스트럭션에 한 번 넣어두면 이후 입력되는 글, 광고 문구, 랜딩페이지 초안에 같은 기준이 반복 적용된다. 이것이 맞춤형 AI를 만드는 가장 간단한 출발점이다.

역할은 한 문장씩 또렷하게 정한다

좋은 시스템 인스트럭션은 길기보다 명확하다. 먼저 AI의 역할을 정한다. 다음으로 누구를 돕는지, 어느 수준의 전문성을 가져야 하는지, 어떤 말투를 써야 하는지 분리해서 적는다.

예시는 다음과 같다.

당신은 디지털 마케팅 전략가입니다.
대상 사용자는 온라인 쇼핑몰을 운영하는 1인 사업자입니다.
전문 용어는 쉽게 풀어 설명하고, 실행 가능한 조언을 우선합니다.
답변은 차분하고 단정한 한국어로 작성합니다.

코드 리뷰어라면 "Python 백엔드 코드의 버그, 성능, 보안 문제를 점검한다"처럼 역할을 좁힌다. 문서 요약가라면 "긴 문서를 의사결정자가 읽기 좋은 핵심 요약으로 바꾼다"라고 쓴다. 학습 튜터라면 "정답을 바로 말하기보다 힌트와 쉬운 예시로 이해를 돕는다"라고 정한다.

반복 규칙은 시스템 수준에 둔다

사용할 때마다 반복해야 하는 규칙은 일반 프롬프트가 아니라 시스템 인스트럭션에 넣는 것이 좋다. 대표적으로 출력 형식, 금지 조건, 근거 확인 방식, 모르는 내용 처리 방식이 있다. 공식 문서에서도 시스템 인스트럭션의 활용 예로 페르소나, 출력 형식, 스타일, 목표와 규칙, 언어 지정을 제시한다.²

예를 들어 상담 봇이라면 다음 규칙이 필요하다.

확실하지 않은 내용은 추측하지 말고 "확인 필요"라고 말합니다.
법률·의료·투자 판단은 최종 결정처럼 말하지 않습니다.
답변 끝에는 사용자가 다음에 할 수 있는 행동 1~3개를 제안합니다.
필요하면 표나 체크리스트를 사용합니다.

개발용 도구라면 더 엄격하게 만들 수 있다.

응답은 항상 JSON으로만 출력합니다.
마크다운 코드 블록, 인사말, 설명 문장은 출력하지 않습니다.
필수 값이 없으면 null을 사용합니다.

이렇게 하면 AI의 성격뿐 아니라 결과물의 모양까지 안정적으로 관리할 수 있다.

처음부터 완벽하게 쓰지 않는다

시스템 인스트럭션은 한 번에 길게 쓰는 문서가 아니다. 먼저 핵심 지침 5~7줄로 시작한다. 그런 다음 Google AI Studio에서 여러 입력을 넣어 테스트한다. 의도한 말투가 나오지 않는지, 형식이 깨지는지, 모르는 내용을 지어내는지 확인한다.

실패 사례가 나오면 그때 규칙을 추가한다. 예를 들어 요약 봇이 너무 길게 답한다면 "요약은 5문장 이내"를 넣는다. 리뷰어가 추상적으로 말한다면 "문제 문장, 문제 이유, 수정 예시를 함께 제시"라고 바꾼다. 상담 봇이 단정적으로 말한다면 "가능성 표현을 사용하고 최종 판단은 사용자에게 맡긴다"를 추가한다.

중요한 것은 규칙을 많이 넣는 것이 아니라, 실제 실패를 줄이는 규칙만 남기는 것이다.

서비스로 확장할 수 있게 정리한다

AI Studio에서 만든 시스템 인스트럭션은 단순 실험용으로 끝나지 않는다. Google AI Studio는 프롬프트를 실험한 뒤 Get code를 통해 Gemini API용 코드로 이어갈 수 있는 흐름을 제공한다.³ 즉, 시스템 인스트럭션을 잘 정리해두면 나중에 챗봇, 코드 리뷰어, 고객 상담 봇, 문서 분석 도구의 기본 정책으로 재사용할 수 있다.

다만 서비스에 넣을 시스템 인스트럭션은 실험용 문장보다 더 엄격해야 한다. 말투뿐 아니라 금지 행동, 근거 제시 방식, 개인정보 처리, 실패 시 응답 규칙까지 함께 정리해 두어야 운영 중 예외 상황을 줄일 수 있다.

마지막으로 아래 틀을 복사해 자신의 업무에 맞게 바꿔보자.

역할: 당신은 [전문 역할]입니다.
대상: [사용자 유형]을 돕습니다.
목표: 사용자가 [얻고 싶은 결과]를 얻도록 돕습니다.
말투: [친절한/간결한/전문적인] 한국어로 답합니다.
규칙: 모르는 내용은 추측하지 않고 확인 필요라고 말합니다.
형식: 답변은 [표/체크리스트/JSON/마크다운] 형식으로 작성합니다.
금지: [하지 말아야 할 행동]은 하지 않습니다.

시스템 인스트럭션은 AI에게 붙이는 이름표가 아니다. 대화 전체를 지배하는 작업 규칙이다. 이 규칙을 설계할 수 있으면, 매번 새로 설명하는 AI가 아니라 일관되게 일하는 나만의 AI를 만들 수 있다.

참고

¹Google Cloud Vertex AI 시스템 안내 사용

²Google Cloud Vertex AI 시스템 안내 사용

³Google AI Studio quickstart