엘론 머스크의 AI 스타트업 xAI는 최근 세계에서 가장 강력한 AI(인공지능) 훈련 슈퍼컴퓨터인 “콜로서스”가 이제 온라인에 올랐다고 발표했습니다. 테네시주 멤피스에 본사를 둔 이 새로운 AI 슈퍼컴퓨터는 단 4개월(122일) 만에 제작되었습니다.
새로운 xAI 훈련 클러스터는 새로운 AI 모델을 훈련하는 데 매우 수요가 많은 구성 요소인 100,000개의 NVIDIA 벤치마크 Hopper H100 GPU를 사용하여 구축되었습니다. 이 모델은 차세대 xAI의 대규모 언어 모델(LLM)인 Grok을 훈련하도록 설계되었습니다.
이 회사는 또한 더 높은 계산 메모리를 제공하는 NVIDIA의 새로운 고급 H200 시리즈 칩 50,000개를 추가하여 몇 달 내에 GPU 수를 200,000개로 두 배로 늘릴 계획입니다.
또한, NVIDIA의 새로운 벤치마크인 Hopper H200 GPU는 최대 141GB의 빠른 HBM3E 메모리를 탑재하는 반면, H100은 최대 80GB의 HBM3 메모리를 탑재했습니다.
이번 주말에는 @xAI 팀은 우리의 콜로서스 100k H100 훈련 클러스터를 온라인으로 가져왔습니다. 처음부터 끝까지, 122일 만에 완료되었습니다.
콜로서스는 세계에서 가장 강력한 AI 훈련 시스템입니다. 게다가 몇 달 안에 200k(H200 50k)로 두 배로 늘어날 것입니다.
훌륭한…
— 엘론 머스크 (@elonmusk) 2024년 9월 2일
“이번 주말에 xAI 팀은 Colossus 100K H100 훈련 클러스터를 온라인에 올렸습니다. 처음부터 끝까지 122일 만에 완료되었습니다. Colossus는 세계에서 가장 강력한 AI 훈련 시스템입니다. 게다가 몇 달 안에 200K(50K H200)로 두 배로 늘어날 것입니다. 팀, NVIDIA, 그리고 많은 파트너/공급업체의 훌륭한 업적입니다.” Musk가 X(이전의 Twitter)에 트윗했습니다.
“세계 최대 GPU #슈퍼컴퓨터인 콜로서스가 기록적인 시간 안에 온라인에 오르는 것을 보고 흥분됩니다. 콜로서스는 @nvidia의 #가속 컴퓨팅 플랫폼으로 구동되어 #에너지 효율성에서 뛰어난 이득과 함께 획기적인 성능을 제공합니다. 전체 팀에게 축하드립니다!” NVIDIA Data Centre의 X 핸들은 플랫폼에 이렇게 적었습니다.
NVIDIA GPU의 가격은 약 3만 달러로, 머스크가 새로운 슈퍼컴퓨터를 짓는 데 최소 30억 달러를 지출했음을 시사합니다. 이 시설에는 상당한 전력 및 냉각 자원도 필요합니다.
현재, 15,000개의 H100 GPU를 사용하여 훈련된 xAI의 2세대 AI 모델인 머스크의 Grok 2는 이미지 및 텍스트 생성 기능이 있는 X 프리미엄 및 X 프리미엄 플러스 구독자에게만 제공됩니다. 그는 12월까지 xAI의 3세대 AI 모델인 Grok-3을 출시할 것으로 예상한다고 말했습니다.