티스토리 뷰
엔비디아(Nvidia)는 월요일 생성 AI 붐을 주도하는 종류의 인공 지능 모델을 훈련하고 배포하도록 설계된 그래픽 처리 장치인 H200을 공개했습니다.
새로운 GPU는 OpenAI의 가장 발전된 대규모 언어 모델인 GPT-4를 훈련하는 데 사용되는 칩인 H100의 업그레이드 버전입니다. 대기업, 신생 기업 및 정부 기관은 모두 칩의 제한된 공급을 얻어 내기 위해 경쟁하고 있습니다.
레이먼드 제임스(Raymond James)의 추산에 따르면 H100 칩의 가격은 25,000~40,000달러 사이이며, "훈련(또는 교육)"이라는 프로세스에서 가장 큰 모델을 만들려면 수천 개의 칩이 함께 작동해야 합니다.
엔비디아의 AI GPU에 대한 기대감으로 인해 회사의 주가는 2023년 현재까지 230% 이상 상승했습니다. 엔비디아는 회계연도 3분기에 약 160억 달러의 매출을 예상하며 이는 1년 전보다 170% 증가한 수치입니다.
H200의 주요 개선 사항은 칩이 "추론"을 수행하거나 텍스트, 이미지 또는 예측을 생성하도록 학습된 후 대규모 모델을 사용하는 데 도움이 되는 141GB의 차세대 "HBM3" 메모리가 포함되어 있다는 것입니다.
엔비디아는 H200이 H100보다 거의 두 배 빠른 속도로 결과물을 출력할 것이라고 말했습니다. 이는 Meta의 Llama 2 LLM을 사용한 테스트를 기반으로 합니다.
2024년 2분기에 출시될 것으로 예상되는 H200은 AMD의 MI300X GPU와 경쟁하게 됩니다. H200과 유사한 AMD의 칩은 이전 제품에 비해 메모리가 추가되어 하드웨어에 대형 모델을 장착하여 추론을 실행하는 데 도움이 됩니다.
엔비디아는 H200이 H100과 호환될 것이라고 밝혔는데, 이는 이미 이전 모델로 훈련하고 있는 AI 회사가 새 버전을 사용하기 위해 서버 시스템이나 소프트웨어를 변경할 필요가 없다는 것을 의미한다고 말했습니다.
엔비디아는 회사의 HGX 전체 시스템에서 4-GPU 또는 8-GPU 서버 구성뿐만 아니라 H200 GPU와 Arm 기반 프로세서를 결합하는 GH200이라는 칩에서도 사용할 수 있다고 밝혔습니다.
그러나 H200은 가장 빠른 엔비디아 AI 칩의 왕좌를 오랫동안 유지하지 못할 수도 있습니다.
엔비디아와 같은 회사는 다양한 칩 구성을 제공하지만 제조업체가 메모리를 추가하거나 기타 소규모 최적화를 수행하는 것보다 더 중요한 성능 향상을 제공하는 다른 아키텍처로 전환할 때 새로운 반도체는 약 2년마다 큰 진전을 이루는 경우가 많습니다. H100과 H200은 모두 엔비디아의 Hopper 아키텍처를 기반으로 합니다.
지난 10월 엔비디아는 GPU에 대한 높은 수요로 인해 2년 아키텍처 주기에서 1년 릴리스 패턴으로 전환할 것이라고 투자자들에게 말했습니다. 이 회사는 곧 출시될 예정인 차기 아키텍처인 Blackwell을 기반으로 하는 B100 칩을 2024년에 발표하고 출시할 것임을 시사하는 슬라이드를 공개했습니다.