就在埃隆·馬斯克xAI集群首次曝光后,小扎也迫不及待在Meta的業(yè)績發(fā)布會上表示,Llama 4背后服務(wù)器集群的實力“比我見過的任何報道中其他人正在做的(規(guī)模)要大”。這番言論無疑是對埃隆·馬斯克“地表最強的AI集群”的正面回應(yīng)。
在科技巨頭們開啟算力競賽時代,英偉達的GPU成為巨頭們的“糧草”。本文就來看看英偉達的大客戶們AI之戰(zhàn)的囤糧情況。
巨頭血拼H100
“前”地表最強——AI
2023年7月14日,馬斯克在個人推特賬號宣布新公司定名為xAI,并于同日舉行Twitter空間會議。新成立的xAI公司會與Twitter和特斯拉緊密合作 ,其中一個目標(biāo)是打造能進行高階邏輯推理的人工智能模型,并超越市面上其他模型。
四個月后,xAI宣布推出Grok,稱此模型“最大限度地造福全人類,并將是任何人的強大的研究助理?!?/p>
2024年9月xAI推出Colossus 100k H100 訓(xùn)練集群。馬斯克在 X 上稱,它是“世界上最強大的人工智能訓(xùn)練系統(tǒng)。此外,它的規(guī)模將在幾個月內(nèi)翻一番,達到 200k(50k H200x)?!?/p>
2024年10月,埃隆·馬斯克的新項目 Colossus AI超級計算機第一次被詳細介紹。一則視頻展示了其包含10萬臺GPU集群的內(nèi)部結(jié)構(gòu)。Colossus 的基本構(gòu)建模塊是 Supermicro 液冷機架。它由 8 臺 4U 服務(wù)器組成,每臺服務(wù)器配備 8 個 NVIDIA H100,每臺機架總共有 64 個 GPU。8 臺這樣的 GPU 服務(wù)器加上一臺Supermicro 冷卻液分配單元 (CDU)和相關(guān)硬件構(gòu)成了一個 GPU 計算機架。每個HGX H100之間都夾有1U歧管,為服務(wù)器提供所需的液體冷卻。每個機架底部還有另一個Supermicro 4U單元,配備的是冗余泵系統(tǒng)和機架監(jiān)控系統(tǒng)。
Meta:購買35萬個H100
正如前文所說,在Colossus AI計算機視頻流出后,埃隆·馬斯克的“死對頭”扎克伯格在Meta的業(yè)績發(fā)布會上表示自己家的GPU比目前公開的數(shù)量都多。
年初,扎克伯格在Instagram上發(fā)表文章稱,計劃在今年年底前向芯片設(shè)計商英偉達購買35萬個H100 GPU芯片。Meta首席科學(xué)家楊立昆(Yann LeCun)上個月在舊金山舉行的一次活動中強調(diào)了GPU對于構(gòu)建通用人工智能(AGI)的重要性。他說:“如果你認為AGI時代正在到來,你就必須購買更多的GPU。這是一場人工智能戰(zhàn)爭,而英偉達正在提供武器?!?/p>