#8 문제 출제 프롬프트 팁(1)

Ditto_GPT2024-04-12 23:32

제목을 입력해주세요_-001 (18)

GPT에게 학습 내용을 던져주고 그냥 객관식이나 주관식 교육 문제를 그냥 만들게 하는 것은 크게 어렵진 않다. 대충 아무런 기준에 맞추어서 핵심적인 내용으로 문제를 제작해준다.

문제는, 요구 사항이 상당히 까다로운, 특정 시험과 동일한 유형과 형식의 문제로 출제해야하는 경우이다.

아래처럼 3.5에게 이렇게 요청하면 전혀 다르게 출제하는 것을 알 수 있다.

프롬프트 : "TOEIC의 Part5 문법과 어휘 객관식 4지선다 문제를 하나 내줘"

#8 문제 출제 프롬프트 팁(1) image 2

우선, 효과적인 프롬프트 방법 중 하나는 충분히 퓨삿(Few shot)으로 예시를 제공하는 것이다.

문제 출제 프롬프트에서 어려운 부분은 다음과 같다.

예시를 많이 제공하는 것이 효과적이나, 예시가 길어질 수록 입력 토큰량이 너무 많아진다(프롬프트가 길어진다.
여기에 난이도 조절, 정답과 해석 혹은 채점 기준들, 주관적 등급 매기기 등등까지 여러가지 변수들을 한 번에 시험과 유사하거나 더 효과적인 방법으로 풀어주길 원한다면 굉장히 복잡해진다.
파인튜닝을 할 수 없는 환경에서는 특정 시험에서 잘 출제되는 용어나 디테일 등의 데이터를 많이 줄 수 없다.

즉, 한정 된 데이터와 토큰으로 최선의 문제를 제작하는 것이 어렵다는 것이다.

그리고 한정 된 토큰량에서 입력 토큰량이 늘어나면 성능이 떨어질 수 있음에도 불구하고 충분히 예시를 주는 것이 효과적이라고 한다.

TOEIC Part5 의 문제를 기준으로 기본적인 문제 출제만 한 번 시도해보자.

우선 시험 문제는 출제자의 의도 파악이 우선이다.

먼저 공식 사이트와 나무위키에서 찾은 정보로 출제 기준이나 시험의 설명이 담긴 공식 문서의 내용을 맥락으로서 제공해보자.

당신은 TOEIC의 Part5 문법과 어휘 객관식 4지선다 시험 문제 출제 위원입니다.
"TOEIC은 영어가 모국어가 아닌 사람들을 대상으로 커뮤니케이션 능력에 중점을 두고 일상생활 또는 국제업무 등에 필요한 실용영어 능력을 평가하는 글로벌 평가 시험입니다."
따라서, 수험자들의 영어실력을 측정 할 수 있도록 영어 문법 중에서 중요하고 외국인들이 어려워 하는 부분들을 문제로 출제하세요.

출제유형 :
Part5 단문공란 메우기 (문법/어휘), 객관식 4지선다
시험 문제 특징
Part5는 어법과 어휘를 평가하는 단문 빈칸 채우기 문제로, 어법 문항과 어휘 문항이 섞여 있다. 단, 어법을 묻는 문항이 3문항 어휘를 묻는 문항은 1문항만 출제한다.
Part5는 한 문장 안에 빈칸이 들어가 있다. 이 한 문장의 맥락을 이해하고 문제를 풀어야 하기 때문에 문법뿐만 아니라 '영어식 사고방식'을 이해해야 한다. 이는 용법, 뉘앙스, 콜로케이션을 이해하는 데 중요하다.
문법 적 요소를 묻는 칸에 빈칸을 ()로 둔다.
구체적인 문제의 Out put형식은 아래의 예시와 같다.
출제기준
미국인 원어민 중학교 3학년 수준의 어휘로 출제한다.
여러가지 문법적인 요소를 골고루 낸다.

토익 Part5 문제 출제 프롬프트

당신은 TOEIC의 Part5 문법과 어휘 객관식 4지선다 시험 문제 출제 위원입니다.

"TOEIC은 영어가 모국어가 아닌 사람들을 대상으로 커뮤니케이션 능력에 중점을 두고 일상생활 또는 국제업무 등에 필요한 실용영어 능력을 평가하는 글로벌 평가 시험입니다."

따라서, 수험자들의 영어실력을 측정 할 수 있도록 영어 문법 중에서 중요하고 외국인들이 어려워 하는 부분들을 문제로 출제하세요.

[지시사항] :
- Think step by step,
- [출제기준]의 문법 및 어휘 요구 사항을 파악합니다.
- 문법 또는 어휘를 평가하기 위한 빈칸 채우기를 포함하는 문제 한 문장을 디자인합니다.
- 정답은 하나만, 그럴듯한 방해 요소는 세 개가 있는 객관식 4지 선다형 옵션을 제공합니다.
- 필수 문법 요소와 어휘에 중점을 두고 문제의 난이도와 내용을 [출제기준]에 맞춥니다.
- 파트5 문항에 대한 ETS 표준에 따라 문제 형식을 지정합니다.
- 시험 항목은 용법, 뉘앙스 및 연어와 관련된 '영어 사고력'을 평가해야 합니다.
- 각각 다른 5 문제를 생성해내세요.

[시험 문제 특징] :
- Part5는 어법과 어휘를 평가하는 단문 빈칸 채우기 문제로, 어법 문항과 어휘 문항이 섞여 있다. 단, 어법을 묻는 문항이 3문항 어휘를 묻는 문항은 1문항만 출제한다.
- Part5는 한 문장 안에 빈칸이 들어가 있다. 이 한 문장의 맥락을 이해하고 문제를 풀어야 하기 때문에 문법뿐만 아니라 '영어식 사고방식'을 이해해야 한다. 이는 용법, 뉘앙스, 콜로케이션을 이해하는 데 중요하다.

[출제기준] :
- 미국인 원어민 중학교 3학년 수준의 어휘로 출제한다.
- 여러가지 중학교 영어 시험에서 중요한 문법적인 요소를 골고루 낸다.
- [문제 예시]의 난이도보다는 어려워야 함

[문제 예시]
Q: Despite the rain, the picnic ( ) as scheduled.

A) canceled
B) was canceled
C) proceeds
D) proceeded

정답: D (proceeded)

Q : The interns will work ( ) the direction of the research department manager.

A : beyond
B : among
C : under
D : beside

정답 : C(아래에)


[Output structure]
Q :

A
B
C
D

정답 :

결과물(4.0 버전)

Q1: Unless the terms are agreed upon, the contract ( ) effective next week.
A) will not become
B) has not becoming
C) will not became
D) has not becomes
정답: A (will not become)
Q2: The committee members requested that the proposal ( ) revised before submission.
A) be
B) should be
C) must
D) is
정답: A (be)
Q3: He ( ) to his manager before making the final decision on the project.
A) spoke
B) speaks
C) was spoken
D) has spoken
정답: A (spoke)
Q4: Several applicants were rejected because they did not meet the ( ) qualifications for the position.
A) necessary
B) necessity
C) necessitate
D) necessarily
정답: A (necessary)
Q5: In light of recent events, the board has ( ) to postpone the annual meeting until further notice.
A) decided
B) decision
C) decisive
D) decide
정답: A (decided)

3.5버전에서 테스트해봐도 어느 정도 괜찮게 출력되는 것을 알 수 있다.

Q: The new regulations require all employees to attend ( ) training sessions on workplace safety.
A) periodically B) sudden C) usually D) occasionally
정답: A (periodically)
Q: The CEO emphasized the importance of ( ) teamwork among all departments to achieve company goals.
A) compete B) competition C) cooperating D) cooperated
정답: C (cooperating)
Q: Due to unexpected circumstances, the conference has been ( ).
A) cancellation B) canceled C) cancels D) canceling
정답: B (canceled)
Q: The marketing team presented their proposal ( ) the board of directors for approval.
A) with B) in C) to D) at
정답: C (to)
Q: The company's profits have ( ) steadily over the past year.
A) rise B) rose C) raising D) risen
정답: D (risen)

토익 파트5 문제 출제의 경우 여기까지도 나쁘진 않지만, 다음 시간에는 난이도 조절 등의 부분에서 좀 더 문제 출제 프롬프트를 고도화시켜보도록 하겠습니다.