클로드 컴퓨터 사용 기능 사용법 (Cluade computer use)
클로드의 컴퓨터 유즈란?
AI를 통해 컴퓨터를 조작할 수 있는 기능. API와 앤트로픽에서 제공하는 데모를 통해 사용 가능.
컴퓨터 사용 기능 (베타) 신규 도입 (computer use)
AI가 사람처럼 컴퓨터를 사용할 수 있는 혁신적 기능
커서 이동, 클릭, 텍스트 입력 등 가능
OSWorld 평가에서 screenshot-only 카테고리 성공율 14.9% 기록.
OSWorld 는 AI 모델의 컴퓨터 사용 능력을 평가.
화면 캡처만을 보고 컴퓨터 작업을 수행해야 하는 제한된 조건.
아직 초기 단계이지만 다음으로 높은 AI 시스템 7.8%과 비교했을 때 앞선 성능.
더 많은 단계로 작업을 수행할 수 있도록 했을 때 22.0%의 성능을 기록.
현재는 실험적 단계로, 스크롤링, 드래깅, 확대/축소 등에서 한계 존재
Computer use (beta) - Anthropic
데모 사용법
anthropic-quickstarts/computer-use-demo at main · anthropics/anthropic-quickstarts
준비된 데모 도커 파일을 통해 사용할 수 있음.
도커 설치
Docker: Accelerated Container Application Development
API 키 세팅하기
콘솔에서 키를 만든 후 사용하기.
무료로도 사용할 수 있지만 금방 rate limit 에 걸려서 충전해서 사용했습니다. 그런데 컴퓨터 유즈는 여러 스텝을 밟기 때문에 충전해서 티어 1이 되어도 rate limit 에 많이 걸리더라구요.
이렇게 한 후 윈도우의 경우 커맨드 창 또는 파워쉘에서 키를 세팅하면 됩니다.
파워쉘
$env:ANTHROPIC_API_KEY="your_api_key_value"
커맨드창
set ANTHROPIC_API_KEY=your_api_key
맥이나 리눅스
export ANTHROPIC_API_KEY=%your_api_key%
도커 실행하기
같은 터미널에서 다음 명령어로 도커 컨테이너를 만들고 실행합니다. 복사하기 쉽게 한줄로 정리했습니다.
파워쉘 버전
docker run -e ANTHROPIC_API_KEY=$env:ANTHROPIC_API_KEY -v ${HOME}\.anthropic:/home/computeruse/.anthropic -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
커맨트 프롬프트
docker run -e ANTHROPIC_API_KEY=%ANTHROPIC_API_KEY% -v %USERPROFILE%\.anthropic:/home/computeruse/.anthropic -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
리눅스 및 맥 버전
docker run -e ANTHROPIC_API_KEY=$env:ANTHROPIC_API_KEY -v ${HOME}\.anthropic:/home/computeruse/.anthropic -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
자세한 내용은 위의 깃허브 링크 참조.
기타
다시 docker start 로 실행을 할 때는 display 환경 변수 때문에 오류가 발생한다. 그래서 컨테이너를 지우고 다시 시작하거나 --rm 을 붙여서 컨테이터를 종료 시 지우게 할 수 있다. 곧 패치 될 것 같다.
우분투 환경 한글 깨질 시
sudo apt install fonts-noto-cjk예시
구글에서 tilnote 검색. (한글 틸노트는 틸까지만 입력하는 오류)
뉴욕으로 가는 비행기 티켓 찾기
찾은 내용을 스프레드시트로 정리 하기
다양한 영역에 활용할 수 있을 것으로 보입니다.
1