馬斯克自曝訓(xùn)練Grok3用了10萬塊NV H100:花了300億

馬斯克已經(jīng)宣布其人工智能初創(chuàng)公司xAI的大語言模型Grok-2將于8月推出，將帶來更先進(jìn)的AI功能。雖然Grok-2還沒亮相，但馬斯克已經(jīng)開始為其Grok-3進(jìn)行造勢。

馬斯克表示，訓(xùn)練AI聊天機(jī)器人需要數(shù)據(jù)集，而且從現(xiàn)有數(shù)據(jù)中清除大型語言模型 (LMM) 的工作量很大。他還談到了OpenAI模型輸出訓(xùn)練的幾個問題。

他透露xAI的Grok-3用了10萬塊英偉達(dá)H100芯片進(jìn)行訓(xùn)練，預(yù)計將于年底發(fā)布，相信它會“非常特別”。

H100芯片是英偉達(dá)專為處理大型語言模型數(shù)據(jù)而開發(fā)的人工智能芯片，每塊價格約在3-4萬美元之間，簡單計算的話，這些芯片的價值就高達(dá)30億-40億美元(約合290億元人民幣)了。