엔비디아가 아마존 웹 서비스(AWS) AI 서비스 전반에 NIM 마이크로서비스를 확장한다고 발표했다. 생성형 AI 모델의 효율적 확장과 비용 절감을 위해 안전한 고성능 추론 솔루션 수요가 증가하고 있다.

AWS는 6일(현지시간) 리인벤트 콘퍼런스에서 주요 AWS AI 서비스에 NIM 마이크로서비스를 확대한다고 밝혔다. 이를 통해 생성형 AI 애플리케이션의 추론 속도가 빨라지고 지연 시간이 줄어든다.

NIM 마이크로서비스는 AWS 마켓플레이스, 아마존 베드록, 세이지메이커 점프스타트에서 제공된다. 개발자들은 이를 통해 엔비디아 최적화 추론 모델을 쉽게 배포할 수 있다. NIM은 엔비디아 AI 엔터프라이즈 플랫폼에 포함되며, 트리톤 추론 서버, 텐서RT, 파이토치 등을 기반으로 한다. 오픈소스 모델과 엔비디아 파운데이션 모델, 맞춤형 모델을 지원한다.

NIM은 EC2, EKS, 세이지메이커를 통해 배포할 수 있으며, AWS의 엔비디아 가속 컴퓨팅 인스턴스에 최적화됐다. AWS에서 사용 가능한 NIM 모델은 ▲네모트론-4 ▲라마 3.1 8B/70B ▲믹스트랄 8x7B 등이다.

소프트서브는 AWS에서 NIM 기반 AI 솔루션 6종을 개발해 마켓플레이스에서 제공 중이며, 이를 통해 AI 애플리케이션 개발과 배포 속도가 개선되고 비용이 절감된다.