在近日的Hot Chips 2024大會(huì)上，英偉達(dá)公布了下一代GPU架構(gòu)Blackwell的更多細(xì)節(jié)信息，以及未來的產(chǎn)品路線圖。

　　英偉達(dá)Blackwell是通用計(jì)算全棧矩陣的終極解決方案，由多個(gè)英偉達(dá)芯片組成，包括Blackwell GPU、Grace CPU、BlueField數(shù)據(jù)處理單元、ConnectX網(wǎng)絡(luò)接口卡、NVLink交換機(jī)、Spectrum以太網(wǎng)交換機(jī)和Quantum InfiniBand交換機(jī)。

　　英偉達(dá)稱，Blackwell擁有6項(xiàng)革命性技術(shù)，可支持多達(dá)10萬億參數(shù)的模型進(jìn)行AI訓(xùn)練和實(shí)時(shí)大語言模型(LLM)推理。

　　NVIDIA Blackwell 的技術(shù)特點(diǎn)

　　NVIDIA Blackwell 架構(gòu)是NVIDIA于2024年3月在NVIDIA GTC大會(huì)上發(fā)布的全新架構(gòu)，是NVIDIA繼Hopper架構(gòu)之后推出的全新架構(gòu)，旨在推動(dòng)生成式AI和加速計(jì)算領(lǐng)域的發(fā)展。Blackwell架構(gòu)擁有六項(xiàng)革命性技術(shù)，這些技術(shù)共同構(gòu)成了其強(qiáng)大的計(jì)算能力和高效性。

　　一、它是全球最強(qiáng)大的芯片，擁有2080億個(gè)晶體管，這確保了芯片具有極高的計(jì)算能力和復(fù)雜性。它采用臺(tái)積電4納米工藝制造，提高了芯片的集成度，降低了功耗和發(fā)熱量。配備192GB的HBM3E顯存，極大提升了芯片的數(shù)據(jù)處理能力和效率。

　　第二代Transformer引擎，結(jié)合Blackwell Tensor Core技術(shù)和TensorRT-LLM及NeMo Megatron框架中的英偉達(dá)先進(jìn)動(dòng)態(tài)范圍管理算法，Blackwell通過新的4位浮點(diǎn)AI支持雙倍的計(jì)算和模型大小推理能力。

　　第五代NVLink，為每個(gè)GPU提供了突破性的1.8TB/s雙向吞吐量，確保最復(fù)雜LLM之間多達(dá)576個(gè)GPU之間的無縫高速通信。

　　四、RAS引擎，Blackwell支持的GPU包含一個(gè)專用引擎，實(shí)現(xiàn)可靠性、可用性和服務(wù)性。此外，Blackwell架構(gòu)還增加了芯片級(jí)功能，利用基于AI的預(yù)防性維護(hù)進(jìn)行診斷和預(yù)測(cè)可靠性問題，從而延長系統(tǒng)正常運(yùn)行時(shí)間并提高大規(guī)模部署AI的彈性。

　　五、安全人工智能，先進(jìn)的機(jī)密計(jì)算功能可在不影響性能的情況下保護(hù)AI模型和客戶數(shù)據(jù)，并支持新的本機(jī)接口加密協(xié)議，進(jìn)一步增強(qiáng)了芯片的安全性。

　　六、解壓縮引擎，專用解壓縮引擎支持最新格式，加快數(shù)據(jù)庫查詢，提供數(shù)據(jù)分析和數(shù)據(jù)科學(xué)的最高性能。

　　生態(tài)系統(tǒng)方面，Blackwell不僅是系統(tǒng)的核心芯片，更是一個(gè)全新的平臺(tái)。它涵蓋了從CPU和GPU計(jì)算到用于互連的不同類型的網(wǎng)絡(luò)，是通用計(jì)算全棧矩陣的終極解決方案。

　　Blackwell架構(gòu)將助推數(shù)據(jù)處理、工程模擬、電子設(shè)計(jì)自動(dòng)化、計(jì)算機(jī)輔助藥物設(shè)計(jì)、量子計(jì)算和生成式AI等領(lǐng)域?qū)崿F(xiàn)突破。

　　NVIDIA已經(jīng)展示了基于Blackwell架構(gòu)的GPU GB200 NVL72等產(chǎn)品，該產(chǎn)品專為萬億參數(shù)AI而設(shè)計(jì)，對(duì)大語言模型(LLM)推理性能提升高達(dá)30倍。隨著AI模型尺寸的增加，在多個(gè)GPU上拆分工作負(fù)載勢(shì)在必行。而Blackwell足夠強(qiáng)大，可以在一個(gè)GPU中處理專家模型。

　　相比Hopper架構(gòu)的優(yōu)勢(shì)

　　NVIDIA Blackwell架構(gòu)相比其上一個(gè)NVIDIA Hopper架構(gòu)具有多方面的優(yōu)勢(shì)。NVIDIA Hopper架構(gòu)是NVIDIA在2022年推出的GPU架構(gòu)，該架構(gòu)旨在取代之前的NVIDIA Ampere架構(gòu)，并為新一代工作負(fù)載提供強(qiáng)大的加速計(jì)算平臺(tái)。

　　Hopper架構(gòu)采用了先進(jìn)的臺(tái)積電4N工藝制造，集成了超過800億個(gè)晶體管，這為高性能計(jì)算提供了堅(jiān)實(shí)的基礎(chǔ)。

　　Hopper架構(gòu)通過Transformer引擎推進(jìn)了Tensor Core技術(shù)的發(fā)展，旨在加速AI模型訓(xùn)練。Transformer引擎能夠應(yīng)用混合的FP8和FP16精度，以大幅加速Transformer模型的AI計(jì)算。

　　與上一代相比，Hopper架構(gòu)在TF32、FP64、FP16和INT8精度的每秒浮點(diǎn)運(yùn)算(FLOPS)上提高了3倍。這種性能提升使得Hopper在處理大規(guī)模AI模型時(shí)更加高效。

　　Hopper架構(gòu)引入了第四代NVLink技術(shù)，可通過NVIDIA DGX和HGX服務(wù)器擴(kuò)展多GPU輸入和輸出(IO)，每個(gè)GPU的雙向傳輸速率可達(dá)900GB/s，比PCIe 5.0的帶寬高7倍。

　　第三代NVIDIA NVSwitch支持SHARP網(wǎng)絡(luò)計(jì)算技術(shù)，打破了該技術(shù)只能通過InfiniBand提供的傳統(tǒng)限制。這使得Hopper架構(gòu)在處理大規(guī)模HPC和AI工作負(fù)載時(shí)能夠?qū)崿F(xiàn)更高的互連效率和通信帶寬。

　　相比較而言，晶體管數(shù)量與計(jì)算能力方面，Blackwell架構(gòu)GPU擁有2080億個(gè)晶體管，比Hopper架構(gòu)的GPU多出顯著數(shù)量，這直接提升了其計(jì)算能力。

　　Blackwell架構(gòu)的單個(gè)芯片計(jì)算能力達(dá)到了20 petaFLOPS，這使其在處理大規(guī)模AI模型時(shí)具有更高的實(shí)時(shí)性能和效率。

　　內(nèi)存與帶寬方面，Blackwell架構(gòu)配備了更大的HBM3e內(nèi)存(如192GB)和更高的顯存帶寬(如8TB/s)，相比Hopper架構(gòu)，這進(jìn)一步增強(qiáng)了數(shù)據(jù)處理和傳輸?shù)乃俣取?/p>

　　寫在最后

　　NVIDIA Blackwell架構(gòu)相比其上一個(gè)架構(gòu)在性能、計(jì)算能力、技術(shù)創(chuàng)新、特性增強(qiáng)以及生態(tài)系統(tǒng)與應(yīng)用拓展等方面均具有顯著優(yōu)勢(shì)。應(yīng)用方面，Blackwell架構(gòu)將助推數(shù)據(jù)處理、工程模擬、電子設(shè)計(jì)自動(dòng)化、計(jì)算機(jī)輔助藥物設(shè)計(jì)、量子計(jì)算和生成式AI等領(lǐng)域?qū)崿F(xiàn)突破。