據(jù)悉，近日全球半導(dǎo)體行業(yè)研究公司 SemiAnalysis 首席分析師 Dylan·Patel 表示，由于 ChatGPT 運行在價格昂貴的計算基礎(chǔ)設(shè)施之上，OpenAI 每天為運行 ChatGPT 投入的成本可能高達 70 萬美金。
Dylan·Patel 表示，無論是撰寫求職信、生成教學(xué)計劃、幫助用戶優(yōu)化個人資料，還是基于事實或假設(shè)對事物進行判斷分析，ChatGPT 均需要龐大的算力才能基于用戶的輸入信息做出反饋，而這部分成本都來自于昂貴的服務(wù)器。
Dylan·Patel 及其同事 Afzal·Ahmad 均認(rèn)為，雖然訓(xùn)練 ChatGPT 背后的大語言模型可能要花費上億美元，但其運營費用或其背后的內(nèi)容生產(chǎn)成本會更高，即使采用任何合理的部署規(guī)模都遠遠超過了其訓(xùn)練成本。
近日傳言微軟為了降低生成式人工智能模型的運行成本正在開發(fā)一款代號為“Athena”的 AI 芯片。報道稱該項目自 2019 年以來一直在生產(chǎn)中，并可供一小部分 Microsoft 和 OpenAI 員工進行測試。
微軟之前與 OpenAI 達成了 10 億美元的投資協(xié)議，要求 OpenAI 僅在微軟的 Azure 云服務(wù)器上運行其模型。此前有消息稱，因為短缺導(dǎo)致微軟為一些內(nèi)部團隊配給 GPU。而英偉達的處理器售價很高，因此微軟期望以相同工作負(fù)載的更便宜方式來運行。
除了強大的性能之外，英偉達的芯片還具有顯著的軟件優(yōu)勢，大部分 AI 工作負(fù)載都是為它們設(shè)計的，并且擁有數(shù)十年的開發(fā)人員經(jīng)驗。目前微軟大約有 300 多名員工正在開發(fā)這款芯片。
消息人士稱，該芯片最早可能在明年發(fā)布供微軟和 OpenAI 內(nèi)部使用，微軟官方對此沒有回復(fù)，但是否也讓 Azure 客戶使用還正在討論中。谷歌開發(fā)了自己的 AI 芯片系列 TPU，是目前唯一開發(fā) LLM 的競爭對手芯片，而亞馬遜擁有自己的替代產(chǎn)品線 Trainium。
據(jù)悉，“Athena”基于 5nm 工藝節(jié)點，專為大型語言模型 (LLM) 等訓(xùn)練軟件而構(gòu)建，這些軟件是近幾個月出現(xiàn)的生成式 AI 激增的核心，但這些模型的增長一直受到 AI 訓(xùn)練芯片市場領(lǐng)導(dǎo)者英偉達GPU 短缺的困擾。
網(wǎng)站客服
粵公網(wǎng)安備 44030402000946號