엔비디아가 AI 파운드리(NVIDIA AI Foundry)를 통해 기업들이 특정 산업 요구에 맞는 맞춤형 모델을 구축할 수 있도록 지원한다고 28일 밝혔다. 해당 서비스는 기업이 데이터, 가속 컴퓨팅, 소프트웨어 도구 등을 사용해 맞춤형 모델을 생성하고 배포할 수 있게 해준다.

엔비디아 AI 파운드리는 다른 기업이 AI 모델을 개발하고 맞춤화할 수 있도록 인프라와 도구를 제공한다. 기업들은 이를 통해 DGX 클라우드(DGX Cloud), 파운데이션 모델, 엔비디아 네모(NeMo) 소프트웨어, 엔비디아 전문 지식, 에코시스템 도구와 지원을 사용할 수 있다. 기업은 AI 파운드리를 사용해 다양한 엔비디아와 오픈소스 모델을 맞춤화할 수 있다. 메타(Meta)의 라마 3.1(Llama 3.1) 컬렉션, 구글 딥마인드(Google DeepMind)의 코드젬마(CodeGemma) 등도 포함된다.

업계 선두주자인 암독스(Amdocs), 캐피탈 원(Capital One), 게티이미지(Getty Images), KT, 현대자동차, SAP, 서비스나우(ServiceNow)와 스노우플레이크(Snowflake)는 엔비디아 AI 파운드리를 사용하고 있다.

엔비디아 AI 파운드리의 컴퓨팅 핵심은 엔비디아 DGX 클라우드로, 세계 최고의 퍼블릭 클라우드인 아마존 웹 서비스(AWS), 구글 클라우드(Google Cloud), 오라클 클라우드 인프라스트럭처(Oracle Cloud Infrastructure)와 공동 설계된 가속 컴퓨팅 리소스 네트워크다. AI 파운드리 고객은 DGX 클라우드를 통해 전례 없이 쉽고 효율적으로 맞춤형 생성형 AI 애플리케이션을 개발하고 미세 조정할 수 있다.

엔비디아 파트너의 AIOps와 MLOps 플랫폼을 사용해 프로덕션용 엔비디아 AI 파운드리 모델도 개발할 수 있다. 여기에는 클린랩(Cleanlab), 데이터독(DataDog), 데이터이쿠(Dataiku), 데이터로봇(DataRobot) 등이 포함된다. 고객들은 AI 파운드리 모델을 맞춤형 모델, 최적화된 엔진, 표준 API를 포함하는 엔비디아 NIM 추론 마이크로서비스로 출력해 원하는 가속 인프라에서 실행할 수 있다.

엔비디아 텐서RT-LLM(TensorRT-LLM)과 같은 추론 솔루션은 지연 시간을 최소화하고 처리량을 극대화하기 위해 라마 3.1 모델의 효율성을 개선한다. 이를 통해 기업은 토큰을 더 빠르게 생성하는 동시에 프로덕션에서 모델을 실행하는 데 드는 총 비용을 절감할 수 있다. 엔터프라이즈급 지원과 보안은 엔비디아 AI 엔터프라이즈 소프트웨어 제품군에서 제공한다.