NVIDIA의 NIM - AI 추론 마이크로서비스

NIM (NVIDIA INFERENCE MICROSERVICE)

AI를 디지털 박스 (컨테이너) 로 사용할 수 있게 해놓은 NVIDIA의 AI 플랫폼.

Pre-trained AI 모델들을 쉽게 사용할 수 있게 CUDA 기반으로 최적화하고 API 서비스 해놓은 것입니다. 참고로 CUDA는 NVIDIA의 병렬 컴퓨팅 플랫폼 및 프로그래밍 모델입니다.

ai.nvidia.com에서 사용할 수 있습니다.

sdxl 터보, gemma-7b, llama2-70b 등 다양한 모델들을 API를 통해 사용할 수 있다.

openai 패키지에 내장된 nvidia를 사용하는 모습.

이를 통해 다양한 AI 컨테이너를 팀처럼 꾸미고 사용할 수 있다고 합니다.

개인이라면 1000 인퍼런스 크레딧이 주어지고 직접 호스팅하려면 NVIDIA AI Enterprise 라이센스가 필요하다.