OpenAI 비동기 작업에 50%의 할인을 제공하는 BatchAPI 공개

Batch API

OpenAI에서 기존의 요청에 50%까지 할인을 해주는 BatchAPI를 공개 했습니다. 대신 결과를 최대 24시간 내에 받아볼 수 있다고 합니다.

문서 : https://platform.openai.com/docs/api-reference/batch/create

https://api.openai.com/v1/batches 에 POST 요청을 보냄으로써 활용할 수 있습니다.

1. file api 를 통해 JSONL 형태의 작업을 위한 파일을 올립니다.

2. 해당 batch의 결과를 retrieve 합니다. https://api.openai.com/v1/batches/{batch_id}

생각

대량 요청이나 빨리 결과를 받아볼 필요가 없는 동기작업이 필요없는 작업에 쓰일 수 있을 것 같다. OpenAI 입장에서도 유휴 자원을 활용해서 처리할 수 있으니 상부상조 아닐까? 그런데 파일 api로 올리고 결과를 지속적으로 확인해야 하는게 조금 귀찮을 수 도 있겠다.