技術(shù)頻道

娓娓工業(yè)
您現(xiàn)在的位置: 中國(guó)傳動(dòng)網(wǎng) > 技術(shù)頻道 > 技術(shù)百科 > ChatGPT算力芯片如何做算力輸出

ChatGPT算力芯片如何做算力輸出

時(shí)間:2024-01-22 16:37:56來(lái)源:是德科技KEYSIGHT

導(dǎo)語(yǔ):?我們談到算力芯片和內(nèi)存,這一期我們來(lái)聊聊算力芯片如何做算力輸出,進(jìn)而形成ChatGPT等生成式AI背后的算力基座。

現(xiàn)在的算力服務(wù)器中,里面并不是一顆顆芯片堆疊在一起,而是一張張算力卡并排插在卡槽里。目前大部分算力服務(wù)器單臺(tái)放置8張或者16張算力卡。

算力卡的核心當(dāng)然還是計(jì)算芯片,會(huì)搭配大容量高帶寬的內(nèi)存、緩存,以及搭載CPU用于調(diào)度,為了幫助數(shù)據(jù)傳輸,便會(huì)使用高速通道,這便是PCIe(高速串行計(jì)算機(jī)擴(kuò)展總線標(biāo)準(zhǔn))在系統(tǒng)中的作用:提供總線通道。

圖:算力卡示意圖

PCIe在數(shù)據(jù)運(yùn)算中的應(yīng)用非常廣泛,比如CPU控制和調(diào)度芯片組進(jìn)行工作會(huì)采用PCIe總線,算力卡和算力卡之間的互聯(lián)也可能用到Serdes總線,計(jì)算好的數(shù)據(jù)存入到SSD硬盤中也是使用PCIe總線,算力中心里的交換機(jī)內(nèi)部CPU與Switch芯片之間,采用PCIe總線。

圖:PCIe總線在AI異構(gòu)計(jì)算系統(tǒng)中的應(yīng)用

因此,PCIe相當(dāng)于是一種通用的總線標(biāo)準(zhǔn),串聯(lián)起整個(gè)AI背后的異構(gòu)計(jì)算系統(tǒng)。通過(guò)采用PCIe接口,研發(fā)人員完全不必?fù)?dān)心計(jì)算芯片、加速芯片、內(nèi)存芯片、存儲(chǔ)芯片、網(wǎng)關(guān)芯片和交換機(jī)等人工智能系統(tǒng)不同組件之間的互聯(lián)問(wèn)題。

PCIe從多個(gè)方面賦能當(dāng)前人工智能系統(tǒng)的高速發(fā)展,包括以下幾個(gè)特性:

1. 高效傳輸

2. 高可擴(kuò)展性

3. 實(shí)時(shí)處理能力

4. 持續(xù)優(yōu)化的低功耗性能

由于PCIe連接了系統(tǒng)中核心的芯片,又承擔(dān)著數(shù)據(jù)傳輸?shù)呢?zé)任,因此其性能可靠性非常重要。在實(shí)際測(cè)試過(guò)程中,首先要測(cè)試PCIe接口的上傳和下載峰值速度,以及穩(wěn)定傳輸?shù)乃俣?,這是保證高效計(jì)算的關(guān)鍵。然后是測(cè)試PCIe接口的電氣特性,包括傳輸功耗,以及高速邏輯喚醒等低功耗功能的具體表現(xiàn),如下圖:

圖:是德科技PCIe測(cè)試拓?fù)鋱D

此外,在PCIe接口穩(wěn)定性方面,還要測(cè)試熱插拔特性、隔離度和EMC性能等。當(dāng)然,目前有一些廠商已經(jīng)不滿足于PCIe的傳輸速度,于是他們自己研發(fā)了一套連接標(biāo)準(zhǔn)。比如,英特爾提供Xe Link用于算力卡的互聯(lián),這是一種基于PCle 5.0擴(kuò)展的新協(xié)議;英偉達(dá)則是開(kāi)發(fā)了NVLink作為PCle的替代方案,帶寬和能效能夠達(dá)到PCle 5.0的數(shù)倍。這些自研方案會(huì)帶來(lái)更高的測(cè)試挑戰(zhàn),對(duì)于是德科技而言,無(wú)論采取的是PCle協(xié)議,還是自研的高速互聯(lián)協(xié)議,我們的方案都能夠滿足相關(guān)測(cè)試需求,如下圖:

圖:是德科技PCIe 6.0全鏈路測(cè)試方案


標(biāo)簽: 芯片AI

點(diǎn)贊

分享到:

上一篇:一顆AI芯片需要考量的因素有...

下一篇:機(jī)器人基于開(kāi)源的多模態(tài)語(yǔ)言...

中國(guó)傳動(dòng)網(wǎng)版權(quán)與免責(zé)聲明:凡本網(wǎng)注明[來(lái)源:中國(guó)傳動(dòng)網(wǎng)]的所有文字、圖片、音視和視頻文件,版權(quán)均為中國(guó)傳動(dòng)網(wǎng)(www.wangxinlc.cn)獨(dú)家所有。如需轉(zhuǎn)載請(qǐng)與0755-82949061聯(lián)系。任何媒體、網(wǎng)站或個(gè)人轉(zhuǎn)載使用時(shí)須注明來(lái)源“中國(guó)傳動(dòng)網(wǎng)”,違反者本網(wǎng)將追究其法律責(zé)任。

本網(wǎng)轉(zhuǎn)載并注明其他來(lái)源的稿件,均來(lái)自互聯(lián)網(wǎng)或業(yè)內(nèi)投稿人士,版權(quán)屬于原版權(quán)人。轉(zhuǎn)載請(qǐng)保留稿件來(lái)源及作者,禁止擅自篡改,違者自負(fù)版權(quán)法律責(zé)任。

網(wǎng)站簡(jiǎn)介|會(huì)員服務(wù)|聯(lián)系方式|幫助信息|版權(quán)信息|網(wǎng)站地圖|友情鏈接|法律支持|意見(jiàn)反饋|sitemap

傳動(dòng)網(wǎng)-工業(yè)自動(dòng)化與智能制造的全媒體“互聯(lián)網(wǎng)+”創(chuàng)新服務(wù)平臺(tái)

網(wǎng)站客服服務(wù)咨詢采購(gòu)咨詢媒體合作

Chuandong.com Copyright ?2005 - 2025 ,All Rights Reserved 深圳市奧美大唐廣告有限公司 版權(quán)所有
粵ICP備 14004826號(hào) | 營(yíng)業(yè)執(zhí)照證書 | 不良信息舉報(bào)中心 | 粵公網(wǎng)安備 44030402000946號(hào)