오타는 일반적으로 프롬프트 품질을 떨어뜨리는 요소입니다. 지시문에 오타가 많으면 모델이 작업 의도를 잘못 해석할 수 있고, 출력도 흔들릴 수 있습니다. 하지만 합성 데이터를 설계할 때는 오타가 단순한 실수가 아니라 유용한 테스트 조건이 될 수 있습니다.
핵심은 위치와 목적입니다. 프롬프트의 지시문에 섞인 오타와, 모델이 처리해야 할 입력 데이터에 의도적으로 넣은 오타는 전혀 다른 문제입니다.
오타는 언제 문제가 되고, 언제 도움이 되는가
프롬프트는 사용자가 GPT 모델과 상호작용하기 위해 제공하는 텍스트 입력입니다. GPT 모델은 이전 텍스트 다음에 올 가능성이 높은 단어 시퀀스를 생성하는 방식으로 동작합니다.1 따라서 입력이 조금만 바뀌어도 출력이 달라질 수 있습니다.
이 특성은 프롬프트 작성에서는 위험 요소입니다. 예를 들어 작업 지시문이 불명확하거나 오타 때문에 의미가 흐려지면, 모델은 사용자가 의도한 작업을 정확히 수행하지 못할 수 있습니다.
반대로 합성 데이터에서는 이 변화를 실험 대상으로 삼을 수 있습니다. 이름, 코드, 주소, 상품명처럼 실제 서비스에서 자주 입력되는 값에 철자 바꿈, 인접 문자 뒤집기, 띄어쓰기 오류 등을 넣으면 모델이 현실의 불완전한 입력을 얼마나 견디는지 확인할 수 있습니다. 전치 오타만 생성하도록 만든 프롬프트 예시도 있습니다.2
즉 오타 자체가 좋은 것이 아니라, 통제된 오타가 모델의 내구성을 측정하는 데 도움이 됩니다.
구분해야 할 것: 지시문 오타와 데이터 오타
프롬프트는 보통 지시문, 주 콘텐츠, 예시로 나눠 생각할 수 있습니다.1
지시문은 모델이 수행해야 할 작업을 설명합니다.
주 콘텐츠는 모델이 처리하거나 변환해야 하는 텍스트입니다.
예시는 원하는 입력과 출력의 패턴을 보여줍니다.
이 구분이 중요한 이유는 오타를 넣어도 되는 위치가 다르기 때문입니다. 지시문은 가능한 한 명확하고 깨끗해야 합니다. 반면 주 콘텐츠나 예시에 통제된 오타를 넣으면, 모델이 처리해야 할 변형 사례가 됩니다.
원샷 또는 퓨샷 프롬프트에 예시를 넣는다고 해서 모델이 영구적으로 학습되는 것은 아닙니다. 예시는 현재 추론 응답을 조건화할 뿐입니다.1 따라서 “프롬프트에 오타를 넣었다”는 사실만으로 모델이 더 강해지는 것은 아닙니다. 오타가 포함된 입력과 정답 라벨이 함께 구성되어 학습이나 평가 데이터로 쓰일 때 의미가 생깁니다.
합성 데이터에 오타를 넣을 때의 실무 기준
오타를 합성 데이터에 활용하려면 무작위로 틀리는 것보다 실험 조건을 분리하는 것이 중요합니다.
1. 깨끗한 기준 데이터를 먼저 고정한다
먼저 오타가 없는 기준 데이터를 만들어야 합니다. 그다음 오타, 띄어쓰기, 대소문자, 음역, 순서 변경 같은 변형을 별도로 생성합니다. 이렇게 해야 성능 변화가 어떤 변형에서 발생했는지 추적할 수 있습니다.
2. 지시문은 깨끗하게 두고, 변형은 데이터 영역에 넣는다
모델에게 “무엇을 해야 하는지” 알려주는 지시문은 안정적으로 유지하는 편이 좋습니다. 실험하고 싶은 오타는 지시문이 아니라 입력 데이터나 예시 쪽에 넣어야 합니다.
프롬프트 구성은 모델별로 다르게 작동할 수 있으므로, 같은 기법이 모든 모델에서 동일한 결과를 내지는 않습니다.1 따라서 프롬프트와 데이터 변형을 분리해 관리해야 비교가 쉬워집니다. Promptfoo 같은 도구는 프롬프트를 단순 문자열, 멀티라인 YAML, 파일, JSON 채팅 형식 등으로 정의할 수 있어 실험 버전을 나누는 데 유용합니다.3
3. 합성 데이터만으로 판단하지 않는다
합성 데이터는 다양한 변형을 빠르게 만들 수 있다는 장점이 있지만, 그것만 반복해서 사용하면 오류가 증폭되거나 데이터 분포가 왜곡될 수 있습니다.4 오타 데이터는 실제 입력에서 관찰되는 패턴을 보완하는 용도로 쓰고, 실제 데이터나 별도 검증 신호와 함께 평가하는 편이 안전합니다.
결론: 오타는 품질 저하가 아니라 측정 도구가 될 수 있다
프롬프트 작성에서 오타는 줄여야 할 위험 요소입니다. 그러나 합성 데이터 설계에서는 모델이 작은 표기 흔들림에도 같은 의미를 유지하는지 확인하는 내구성 테스트가 될 수 있습니다.
중요한 것은 무작위로 틀리는 것이 아닙니다. 지시문은 명확하게 유지하고, 데이터 영역에 현실적인 오타를 통제된 방식으로 넣은 뒤, 어떤 변형이 성능에 영향을 주는지 측정해야 합니다. 그렇게 사용할 때 오타는 실수가 아니라 모델을 더 정확히 평가하기 위한 실험 조건이 됩니다.
1Prompt engineering techniques - Microsoft Foundry | Microsoft Learn
2experimental-analysis-of-value-linking/prompts/typo_transposition.md
3Prompt Configuration - Text, Chat, and Dynamic Prompts | Promptfoo
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.