Anthropic 개발자 콘솔 프롬프트 평가 기능 공개 (Evaluate)
프롬프트 생성기
앤트로픽 콘솔(https://console.anthropic.com/)에서 프롬프트 생성 기능을 사용할 수 있습니다. 간단한 프롬프트를 입력하면 높은 품질의 프롬프트를 만들어주는 기능입니다. 현재 Claude 3.5 Sonnet 기반 프롬프트 생성기입니다.
예를 들어 Write a page for topic A. 라고 입력하면 다음과 같이 프롬프트를 생성해 줍니다.
You are tasked with writing an informative and engaging page on a given topic. Your goal is to create content that is both comprehensive and concise, adhering to a specific word count.
The topic you will be writing about is:
<topic>
{{TOPIC}}
</topic>
The required word count for this page is:
<word_count>
{{WORD_COUNT}}
</word_count>
Follow these guidelines when writing the page:
1. Begin with a brief introduction that outlines the main points you will cover.
2. Organize the content into logical sections or paragraphs, each focusing on a specific aspect of the topic.
3. Use clear and concise language, avoiding unnecessary jargon or complexity.
4. Include relevant facts, examples, or statistics to support your points.
5. Conclude with a summary that ties together the main ideas presented.
Format your content as follows:
- Use appropriate headings and subheadings to structure the page.
- Include bullet points or numbered lists where applicable to improve readability.
- If relevant, incorporate a brief "Key Takeaways" section at the end.
Remember to stay within the specified word count. You may use a <scratchpad> section to outline your ideas before writing the final content if you find it helpful.
Please provide your completed page within <page> tags. Begin writing now.
앤트로픽의 여러 프롬프트 노하우를 사용할 수 있어서 많이 애용하는 기능입니다.
평가 기능 (Evaluate)
여기에 평가 기능이 생겼습니다.
프롬프트에 변수를 설정하면 Evaluate 기능을 활용할 수 있습니다. 변수는 {{ 변수 }} 와 같이 만들면 됩니다. 프롬프트 생성기를 사용하면 변수들이 설정되어 있는 것을 확인할 수 있습니다.
{{A}} 에 대한 페이지를 작성해줘
Evaluate 탭에 오면 테스트 케이스를 작성할 수 있습니다. 테스트 케이스는 변수를 입력해서 직접 생성을 해보는 것을 말합니다.
하단에 보시면 Add Row를 눌러서 테스트를 작성하고 변수를 입력해서 테스르를 돌릴 수 있습니다. 테스트가 끝나면 결과가 표시되고 1~5점까지를 수동으로 입력해서 평가할 수 있습니다.
만약 테스트 케이스를 작성하는 것이 귀찮다면 Generate Test Case를 눌러서 자동으로 생성하면 됩니다.
Import Test Cases를 누르면 csv 의 파일의 형태로 데이터를 import 할 수 있습니다.
프롬프트 수정하기
이렇게 테스트를 돌려 본 후 프롬프트를 수정하고 싶다고 하면 Prompt 탭을 눌러서 수정하면 됩니다.
그 후 Run을 누르면 됩니다.
Evaluate 에서 이제 해당 버전으로 테스트를 돌릴 수 있습니다.
만약 이전 버전의 프롬프트와 비교를 하려면 + 를 눌러서 이전 버전들을 불러와서 비교하면 됩니다.
원래 프롬프트 테스트 할 때 프롬프트와 결과를 엑셀이나 데이터베이스에 저장해서 비교해 봤었는데 그럴 필요없이 빠르게 비교를 할 수 있을 것 같습니다.
시사점
콘솔의 프롬프트 생성 기능은 활용도가 높습니다. 저도 프롬프트 엔지니어링 할 때 많이 사용하고 참고하고 있습니다. 콘솔 가입해면 5달러 무료 크레딧을 주니 사용해 보시기 바랍니다. 감사합니다.
참고 앤트로픽 유튜브
