검색
검색
공개 노트 검색
회원가입로그인

Anthropic 개발자 콘솔 프롬프트 평가 기능 공개 (Evaluate)

프롬프트 생성기

앤트로픽 콘솔(https://console.anthropic.com/)에서 프롬프트 생성 기능을 사용할 수 있습니다. 간단한 프롬프트를 입력하면 높은 품질의 프롬프트를 만들어주는 기능입니다. 현재 Claude 3.5 Sonnet 기반 프롬프트 생성기입니다.

예를 들어 Write a page for topic A. 라고 입력하면 다음과 같이 프롬프트를 생성해 줍니다.

You are tasked with writing an informative and engaging page on a given topic. Your goal is to create content that is both comprehensive and concise, adhering to a specific word count.

The topic you will be writing about is:

<topic>

{{TOPIC}}

</topic>

The required word count for this page is:

<word_count>

{{WORD_COUNT}}

</word_count>

Follow these guidelines when writing the page:

1. Begin with a brief introduction that outlines the main points you will cover.

2. Organize the content into logical sections or paragraphs, each focusing on a specific aspect of the topic.

3. Use clear and concise language, avoiding unnecessary jargon or complexity.

4. Include relevant facts, examples, or statistics to support your points.

5. Conclude with a summary that ties together the main ideas presented.

Format your content as follows:

- Use appropriate headings and subheadings to structure the page.

- Include bullet points or numbered lists where applicable to improve readability.

- If relevant, incorporate a brief "Key Takeaways" section at the end.

Remember to stay within the specified word count. You may use a <scratchpad> section to outline your ideas before writing the final content if you find it helpful.

Please provide your completed page within <page> tags. Begin writing now.

앤트로픽의 여러 프롬프트 노하우를 사용할 수 있어서 많이 애용하는 기능입니다.

평가 기능 (Evaluate)

여기에 평가 기능이 생겼습니다.

프롬프트에 변수를 설정하면 Evaluate 기능을 활용할 수 있습니다. 변수는 {{ 변수 }} 와 같이 만들면 됩니다. 프롬프트 생성기를 사용하면 변수들이 설정되어 있는 것을 확인할 수 있습니다.

{{A}} 에 대한 페이지를 작성해줘

Anthropic 개발자 콘솔 프롬프트 평가 기능 공개 (Evaluate) image 1

Evaluate 탭에 오면 테스트 케이스를 작성할 수 있습니다. 테스트 케이스는 변수를 입력해서 직접 생성을 해보는 것을 말합니다.

하단에 보시면 Add Row를 눌러서 테스트를 작성하고 변수를 입력해서 테스르를 돌릴 수 있습니다. 테스트가 끝나면 결과가 표시되고 1~5점까지를 수동으로 입력해서 평가할 수 있습니다.

만약 테스트 케이스를 작성하는 것이 귀찮다면 Generate Test Case를 눌러서 자동으로 생성하면 됩니다.

Import Test Cases를 누르면 csv 의 파일의 형태로 데이터를 import 할 수 있습니다.

프롬프트 수정하기

이렇게 테스트를 돌려 본 후 프롬프트를 수정하고 싶다고 하면 Prompt 탭을 눌러서 수정하면 됩니다.

Anthropic 개발자 콘솔 프롬프트 평가 기능 공개 (Evaluate) image 2

그 후 Run을 누르면 됩니다.

Evaluate 에서 이제 해당 버전으로 테스트를 돌릴 수 있습니다.

만약 이전 버전의 프롬프트와 비교를 하려면 + 를 눌러서 이전 버전들을 불러와서 비교하면 됩니다.

Anthropic 개발자 콘솔 프롬프트 평가 기능 공개 (Evaluate) image 3

원래 프롬프트 테스트 할 때 프롬프트와 결과를 엑셀이나 데이터베이스에 저장해서 비교해 봤었는데 그럴 필요없이 빠르게 비교를 할 수 있을 것 같습니다.

시사점

콘솔의 프롬프트 생성 기능은 활용도가 높습니다. 저도 프롬프트 엔지니어링 할 때 많이 사용하고 참고하고 있습니다. 콘솔 가입해면 5달러 무료 크레딧을 주니 사용해 보시기 바랍니다. 감사합니다.

참고 앤트로픽 유튜브

조회수 : 182
heart
공유하기
카카오로 공유하기
페이스북 공유하기
트위터로 공유하기
url 복사하기
T
페이지 기반 대답
AI Chat