Nvidia, AI 모델을 프로덕션에 보다 원활하게 배포할 수 있도록 NIM 출시
- 엔비디아(Nvidia), GTC 회의에서 커스텀 및 사전 훈련된 AI 모델의 생산 환경 배포를 간소화하는 새로운 소프트웨어 플랫폼 Nvidia NIM 발표
- NIM은 추론 및 모델 최적화를 위한 엔비디아의 소프트웨어 작업을 쉽게 접근할 수 있도록 하여 최적화된 추론 엔진과 결합된 모델을 컨테이너로 패키징하여 마이크로서비스로 제공
- 개발자들이 유사한 컨테이너를 배송하는데 기존에는 주 - 달이 걸렸지만 NIM을 통해 AI 탤런트가 내부에 있든 없든 상관없이 작업 속도 향상
- NIM은 현재 엔비디아, A121, Adept, Cohere, Getty Images, Shutterstock 등의 모델과 Google, Hugging Face, Meta, Microsoft, Mistral AI, Stability AI 등의 오픈 모델을 지원
- 아마존, 구글, 마이크로소프트와 협력하여 NIM 마이크로서비스를 SageMaker, Kubernetes Engine, Azure AI에서 이용할 수 있도록 작업 중이며 Deepset, LangChain, LlamaIndex와 같은 프레임워크에도 통합될 예정
- 엔비디아는 추론을 위해 Triton Inference Server, TensorRT, TensorRT-LLM을 사용할 것이며, NIM을 통해 이용 가능한 마이크로서비스로는 Riva(음성 및 번역 모델 맞춤화), cuOpt(경로 최적화), Earth-2(날씨 및 기후 시뮬레이션 모델) 포함
- 향후 Nvidia RAG LLM 연산자를 NIM으로 제공하여 맞춤형 데이터를 결합할 수 있는 생성 AI 챗봇 구축을 더 쉽게 함
- 현재 NIM 사용자로는 Box, Cloudera, Cohesity, Datastax, Dropbox 및 NetApp 등이 있음
- 엔비디아 설립자 겸 CEO인 젠슨 황은 "기존 엔터프라이즈 플랫폼은 생성 AI 조종사로 변환될 수 있는 데이터 금광을 가지고 있다"며, "파트너 생태계와 함께 만들어진 이 컨테이너화된 AI 마이크로서비스는 모든 산업의 기업이 AI 기업으로 변모하는 데 필요한 빌딩 블록"이라고 말함
3techcrunch.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.