클로드 컴퓨터 사용 기능 사용법 (Cluade computer use)

tilnote2024-10-23 12:54

클로드의 컴퓨터 유즈란?

AI를 통해 컴퓨터를 조작할 수 있는 기능. API와 앤트로픽에서 제공하는 데모를 통해 사용 가능.

컴퓨터 사용 기능 (베타) 신규 도입 (computer use)

AI가 사람처럼 컴퓨터를 사용할 수 있는 혁신적 기능
커서 이동, 클릭, 텍스트 입력 등 가능
OSWorld 평가에서 screenshot-only 카테고리 성공율 14.9% 기록.
OSWorld 는 AI 모델의 컴퓨터 사용 능력을 평가.
화면 캡처만을 보고 컴퓨터 작업을 수행해야 하는 제한된 조건.
아직 초기 단계이지만 다음으로 높은 AI 시스템 7.8%과 비교했을 때 앞선 성능.
더 많은 단계로 작업을 수행할 수 있도록 했을 때 22.0%의 성능을 기록.
현재는 실험적 단계로, 스크롤링, 드래깅, 확대/축소 등에서 한계 존재

Computer use (beta) - Anthropic

데모 사용법

anthropic-quickstarts/computer-use-demo at main · anthropics/anthropic-quickstarts

준비된 데모 도커 파일을 통해 사용할 수 있음.

도커 설치

Docker: Accelerated Container Application Development

API 키 세팅하기

Anthropic Console

콘솔에서 키를 만든 후 사용하기.

무료로도 사용할 수 있지만 금방 rate limit 에 걸려서 충전해서 사용했습니다. 그런데 컴퓨터 유즈는 여러 스텝을 밟기 때문에 충전해서 티어 1이 되어도 rate limit 에 많이 걸리더라구요.

이렇게 한 후 윈도우의 경우 커맨드 창 또는 파워쉘에서 키를 세팅하면 됩니다.

파워쉘

$env:ANTHROPIC_API_KEY="your_api_key_value"

커맨드창

set ANTHROPIC_API_KEY=your_api_key

맥이나 리눅스

export ANTHROPIC_API_KEY=%your_api_key%

도커 실행하기

같은 터미널에서 다음 명령어로 도커 컨테이너를 만들고 실행합니다. 복사하기 쉽게 한줄로 정리했습니다.

파워쉘 버전

docker run -e ANTHROPIC_API_KEY=$env:ANTHROPIC_API_KEY -v ${HOME}\.anthropic:/home/computeruse/.anthropic -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

커맨트 프롬프트

docker run -e ANTHROPIC_API_KEY=%ANTHROPIC_API_KEY% -v %USERPROFILE%\.anthropic:/home/computeruse/.anthropic -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest