【中國傳動網(wǎng) 行業(yè)動態(tài)】 AI芯片不僅是未來十年半導(dǎo)體行業(yè)中最有希望的增長機會之一，而且還是有可能破壞傳統(tǒng)計算市場的力量?，F(xiàn)今99％的AI軟件尚未編寫，只有不到1％的云服務(wù)器用于AI加速（今年總計500+萬臺服務(wù)器），企業(yè)服務(wù)器活動幾乎為零。訓(xùn)練和推理工作從低基數(shù)中倍增，說明市場似乎是一致的，因為今天的加速硬件（GPU、CPU、FPGA）遠遠不能滿足市場的要求。

吞吐量上還需要巨大的飛躍（現(xiàn)今100倍）才能使AI無處不在。好消息是真正的架構(gòu)創(chuàng)新即將出現(xiàn)，但需要時間才能生效：2019年以后，我們將看到新的工藝技術(shù)（7nm）、新的計算架構(gòu)（芯片上的神經(jīng)網(wǎng)絡(luò)）、新的芯片互連（serdes56/112GBs）、新的存儲器方法（HBM3、片上SRAM等）和新的封裝技術(shù)相結(jié)合，可帶來對數(shù)級性能的提升。因為不能太依賴工藝的縮減而進步，AI行業(yè)正在進行全面的創(chuàng)新。但長遠來看，臺積電等主要DRAM制造商還是AI芯片產(chǎn)業(yè)的主要受益者。

本期的智能內(nèi)參，我們推薦來自Arete的研究報告，詳解AI硬件峰會對未來的預(yù)測，2大科技巨頭及創(chuàng)業(yè)公司的AI芯片布局。如果想收藏本文的報告全文（Arete:AI芯片：未來計算的曙光），可以在智東西公眾號回復(fù)關(guān)鍵詞“nc292”獲取。

以下為本期智能內(nèi)參整理呈現(xiàn)的干貨：

1、AI硬件峰會的5大結(jié)論

上個月加州山景城舉辦的AI硬件峰會是目前唯一專門致力于開發(fā)用于神經(jīng)網(wǎng)絡(luò)和計算機視覺硬件加速器生態(tài)系統(tǒng)的活動。會上，來自AI芯片初創(chuàng)企業(yè)、半導(dǎo)體公司、系統(tǒng)供應(yīng)商/OEM、數(shù)據(jù)中心、企業(yè)、金融服務(wù)、投資者和基金經(jīng)理等250多位先進技術(shù)領(lǐng)導(dǎo)者們，為新興的AI芯片市場構(gòu)建了一幅全面的架構(gòu)路線圖。

會上展示了許多AI芯片中另類創(chuàng)業(yè)者的狀態(tài)。其中有一件事是非常明確的：從未見過如此多的公司（無論大小）進攻這個新興芯片市場。就像今天的AI一樣，毫無疑問在接下來的幾年中，將會出現(xiàn)一個成果井噴期。繼谷歌的TPU之后，每個創(chuàng)業(yè)者都有正在研發(fā)的內(nèi)部AI芯片程序。問題是這一切需要多長時間才能影響到市場情緒？畢竟，谷歌的TPU芯片已經(jīng)到了第三代（在16年中期推出其第一個TPU之后），但仍然承載不了Tensorflow或其他框架的所有工作量。所以我們認為，2020年是許多AI芯片問世和量產(chǎn)的開始。

AI硬件峰會的5個重要結(jié)論：

1、臺積電中幾乎所有的AI加速芯片都使用了7nm工藝。此外，我們還發(fā)現(xiàn)大量新的高速接口芯片（Serdes56/112GBs）將在19年擴展。

2、英偉達仍然是機器學(xué)習(xí)之王，其新的T4卡將會被廣泛接受。它將在19年繼續(xù)占據(jù)主導(dǎo)地位。但長遠來看，我們?nèi)匀粨?dān)心AI會減少對CUDA和GPU的依賴。

3、英特爾有新的7nmAI芯片（由臺積電制造），我們認為這個芯片支持112GB的Serdes和高速DRAM。它還應(yīng)該在明年的CascadeLake服務(wù)器中支持新的DLBoostINT8，并且速度增強11倍。

4、所有的云計算商都在開發(fā)內(nèi)部的芯片，但問題是時機的選擇，因為計劃的增加是私密的。這種垂直推進是芯片制造商面臨的主要威脅。

5、在最近的5年，我們見證了新的納米線取代了數(shù)字計算的模擬計算機的進步；硅光子學(xué)取代了Serdes（超過112GB）和更高速內(nèi)存驅(qū)動AI的性能提升。

新的AI芯片有兩種通用思路：

1、首先是擁有更快的I/O和外部存儲器接口的能夠擴展性能的系統(tǒng)，如英偉達，英特爾等。

2、其次是將所有數(shù)據(jù)存儲在芯片上（芯片上的神經(jīng)網(wǎng)絡(luò)），使用大量的小內(nèi)核和片上存儲器來減少對外部DRAM的需求。

后一種方法將在未來六個月內(nèi)會看到第一批商品化的芯片，但我們認為這需要7納米工藝真正推動家用優(yōu)勢的時候（即2020年）。圍繞AI的軟件也在快速發(fā)展，云服務(wù)商也正在推出開源適配軟件，以支持在其框架中運行的各種芯片（例如，TensorflowXLA、FacebookGlow）。隨著新神經(jīng)網(wǎng)絡(luò)的成熟，每個人都意識到了可編程性和靈活性的重要性。隱含的目標(biāo)是在7nm的FP16上達到每瓦特至少10TOPS（比現(xiàn)在好10倍），并且通過更好地支持稀疏性，更低的精度、更小的批量、更快的芯片互連（112GBSerdes）、更快的存儲器接口（遠遠超出HBM2）以及新的多芯片高級封裝真正提高效率和性能。

2、英特爾：AI芯片扮裝者

盡管人們普遍轉(zhuǎn)向依賴通用CPU，但對于英特爾計劃在未來幾年內(nèi)為AI引入的一些新優(yōu)化措施，大家并未給予足夠的信任。英特爾去年的AI收入大約為10億美元（2017年），至強CPU將繼續(xù)在AI推理和訓(xùn)練中發(fā)揮重要作用。例如，在CascadeLake中，英特爾在架構(gòu)中提供了大量新指令，以提高推理性能（聲稱在支持INT8精度的情況下性能提升11倍）。我們預(yù)計這些擴展將與AMDEPYC2規(guī)格區(qū)別開來。

英特爾的下一代NervanaASIC芯片將在臺積電（7nm工藝）制造，并將擁有一些關(guān)鍵的專有接口，可顯著提升性能。雖然GPU現(xiàn)在以低速（PCIE-3）連接到CPU，預(yù)計新服務(wù)器將支持PCIE-4（16GB），但這仍然是數(shù)據(jù)輸入GPU的關(guān)鍵瓶頸。相比之下，英特爾或?qū)⒃谄鋁eonCPU和7nmNervana芯片之間構(gòu)建專有接口，速度高達112GB。英特爾可能計劃推出一種新的高帶寬存儲器接口（對云計算商而言是一個關(guān)鍵的關(guān)注點），并積極參與新的多芯片封裝。雖然向AI加速的轉(zhuǎn)變將導(dǎo)致更多的CPU被卸載，但英特爾希望通過在Xeon周圍構(gòu)建外圍解決方案來獲取價值。時間將證明這是否有效，但規(guī)格的突破顯然揭示了英特爾的目標(biāo)是在2020年取代英偉達的地位。

3、英偉達：暫時的旗艦

英偉達的GPU目前仍然是AI計算的王者，他們擁有真正的在位優(yōu)勢（支持所有框架、所有云服務(wù)商、所有OEM），并且其新產(chǎn)品具有顯著的性能提升，我們認為T4將得到廣泛采用并且其新的DGX2服務(wù)器今年已售罄。雖然目前幾乎沒有令人信服的替代方案，而且我們也認為NVIDIA將繼續(xù)占據(jù)主導(dǎo)地位（至少到2019年），但有兩個主要問題影響英偉達可以在多大程度上長期維持其領(lǐng)導(dǎo)地位：

1、首先，我們認為很明顯英偉達軟件壕溝（CUDA）將變得不那么重要，因為像谷歌、ONNX都努力推進了他們的堆棧并建立了開發(fā)者生態(tài)系統(tǒng)。云服務(wù)商現(xiàn)在正在積極提供替代芯片解決方案的開源插件，以支持Tensorflow、Pytorch、CNTK、Caffe2等框架，降低了新AI處理器的入門軟件門檻。

2、其次，是英偉達訓(xùn)練和推理芯片的經(jīng)濟性，雖然它們可以為許多AI工作負載節(jié)省CPU，但是銷售的GPU卡的超高利潤率與昂貴的內(nèi)存捆綁在一起（V100每卡10萬美元，P4可能每個2萬美元）只會讓云端用戶擁抱其他架構(gòu)。

也就是說，英偉達擁有大量資源來投資競爭對手（尤其是初創(chuàng)公司），它致力于每年為AI推出一種新的架構(gòu)，它可能會在2019年下半年首先推出7nm解決方案。V100和T4都被視為英偉達首款用于AI的轉(zhuǎn)換芯片（遠離通用型GPU），因為它們是第一款支持張量核心和更低推理精度的芯片（INT8）。

預(yù)計19年新品的功能將再次大幅提升英偉達7nmAI加速芯片，將會有很多明顯的效率改進可以大幅提高吞吐量和延遲。我們預(yù)計它的下一代將更多地是以AI為中心的ASIC而不是GPU。云客戶告訴我們，他們從V100GPU獲得的利用率很低（低至15％），因為他們每個GPU只訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)。他們希望英偉達能夠虛擬化他們的GPU，盡管這可能會給英偉達的GPU增長帶來壓力，甚至減少對AI計算芯片的需求。此外，今天英偉達擁有快速芯片到芯片接口（NVlink2），運行速度為25Gbs（遠遠超過標(biāo)準(zhǔn)PCIE-3連接，僅8GB或PCIE-4，16GB），我們預(yù)計到19年年底英偉達將推出對56Gbs甚至112GBserdes的支持，因為有些替代方案可以提升這些規(guī)格。我們認為英偉達的下一代架構(gòu)將于2019年下半年發(fā)布（超越Volta/Turing），并將在很大程度上決定其在多大程度上可以繼續(xù)占領(lǐng)市場。

▲微軟在AI計算選擇上的章節(jié)迎合了我們的觀點，即gpu需要快速發(fā)展

4、另類AI芯片創(chuàng)業(yè)公司的時代到來

在谷歌TPU的帶頭下，每個云服務(wù)商都有內(nèi)部的AI芯片程序，我們認為這可能會在未來18個月內(nèi)得到驗證。有些已經(jīng)公開表達他們的意圖，微軟甚至在峰會上有一個招聘廣告，說明它渴望建立自己的團隊。但這些項目所處的狀態(tài)還不清楚：云服務(wù)商不會分享任何他們的硬件計劃細節(jié)，所以我們不知道他們處于什么發(fā)展階段。我們認為第一次轉(zhuǎn)換芯片將重點關(guān)注推理，就像谷歌兩年前對TPU所做的那樣。

來自谷歌大腦的演示展示了一種諷刺，即隨著芯片行業(yè)達到摩爾定律的極限，AI計算的增長竟還能呈指數(shù)級增長，因此架構(gòu)（和軟件協(xié)同設(shè)計）將成為關(guān)鍵的推動者。谷歌不僅將TPU用于越來越多的工作負載，而且繼續(xù)使用GPU，并將測試大量新系統(tǒng)上市。50多家創(chuàng)業(yè)公司的工作已經(jīng)縮減，以便將他們的平臺商業(yè)化，我們預(yù)計未來12個月內(nèi)將有6家公司推出首款加速芯片，2020年開始推出第二款（7nm工藝）。一些AI初創(chuàng)公司在19年可能會達到1億美元的銷售額，但我們還看不到是否有人能在2020年之前突破這一點。有許多令人印象深刻的初創(chuàng)公司，但其中許多還沒有流片，因此很難對性能聲明進行驗證。

云服務(wù)商希望了解新的AI芯片的系統(tǒng)性能，因此他們建立了一個名為MLPerf的基準(zhǔn)測試標(biāo)準(zhǔn)。我們認為這將是分析特定模型的訓(xùn)練時間的關(guān)鍵標(biāo)準(zhǔn)，并且有助于與當(dāng)前市場領(lǐng)導(dǎo)者英偉達（尚未加入MLPerf）的訓(xùn)練平臺進行比較。很明顯，許多初創(chuàng)公司從未提供產(chǎn)品給主要的云數(shù)據(jù)中心，或者已經(jīng)建立了領(lǐng)先的芯片。此外，只有少數(shù)參與者具有詳細的云計算關(guān)系或在如何圍繞關(guān)鍵型任務(wù)云計算芯片建立工程團隊方面擁有豐富經(jīng)驗。

▲MLPerf將在一系列數(shù)據(jù)集和模型中獲得人工智能芯片訓(xùn)練時間

5、云加速：巨大的市場機會

今天看一下現(xiàn)在典型的云服務(wù)器配置（2插槽，10核XeonE5是最受歡迎的銷售平臺之一），它包含大約660平方毫米的硅芯片面積來處理主CPU計算（即兩個330平方毫米的CPU芯片，主要由英特爾提供）。但是用于AI的加速服務(wù)器（例如NVIDIADGX-1）通常具有多達10倍的硅面積來處理加速度計算，如下圖所示。加速芯片面積與CPU芯片面積的比率僅會增加我們看到每個CPU從四個加速卡上升到每個CPU的六個和八個卡隨著時間的推移。我們認為谷歌計劃明年增加三倍的TPU芯片。

英偉達在訓(xùn)練方面可能會繼續(xù)大幅增長，同時還有大量的AI創(chuàng)業(yè)公司。由于AI服務(wù)器目前在市場上的滲透率很低（今年購買的云服務(wù)器不到1％支持加速），臺積電的長期前景非常好。如果我們假設(shè)這種滲透率上升到100萬臺加速AI服務(wù)器（今年小于5萬），并且芯片面積保持不變（即每個AI服務(wù)器6,560平方毫米），這將轉(zhuǎn)化為大約每年20萬片晶圓，或30億美元的代工收入（假設(shè)每片晶15,000美元，收益率55％）。這就是為什么臺積電會作為AI芯片長期的主要受益者之一。

▲AI加速訓(xùn)練服務(wù)器的芯片面積比大多數(shù)Xeon服務(wù)器大10倍

6、長遠的新技術(shù)

峰會期間還有許多其他新興技術(shù)，未來在3到5年的視野中看起來很有趣。AI的邊緣計算顯然正在智能手機中進行，我們堅信每部智能手機都將在未來2-3年內(nèi)擁有專用的計算機視覺AI處理器（在相機周圍）。谷歌的EdgeTPU和英偉達的DLA是早期可授權(quán)的例子，我們看到ARM現(xiàn)在提供專用的AI許可證解決方案，而Qualcomm、Hisilicon、Cambricon和MediaTek則提供一系列智能手機和物聯(lián)網(wǎng)解決方案。一系列具有增強AI規(guī)格的嵌入式SOC即將推出，適用于相機、機器人、汽車等。英偉達的Xavier就是一個例子。我們將在即將發(fā)布的報告中研究自動駕駛汽車的汽車路線圖，其中AI加速將發(fā)揮核心作用。

從長遠來看，我們可以看到正在開發(fā)的一些擴展計算性能新技術(shù)，以應(yīng)對摩爾定律的挑戰(zhàn)。其中一個更令人印象深刻的演講是來自RainNeuromorphics和Mythic，他們看到模擬計算在5年的時間內(nèi)商業(yè)化可能，使用松散的幾何形狀，圍繞芯片內(nèi)部的納米線（如人腦中的突觸）解決功率限制。此外，AyarLabs闡述了硅光子微型化方面的突破引起的更快的芯片互連（超過112GBSerdes）的解決方案。隨著Exascale計算機預(yù)計將在3-4年內(nèi)出現(xiàn)在我們面前，我們認為AI正在全面推動新思路研發(fā)，將實現(xiàn)性能的指數(shù)增長。

智東西認為，隨著摩爾定律的終結(jié)，AI的發(fā)展不能指望摩爾定律帶來的性能提升，尤其是AI芯片的發(fā)展。英偉達雖然目前處于行業(yè)領(lǐng)先地位，但很有可能被英特爾或新的創(chuàng)業(yè)公司超越。不遠的未來AI芯片將是一個井噴的行業(yè)，而這個行業(yè)最大的受益者將是臺積電。希望內(nèi)地的相關(guān)企業(yè)也能在這一波浪潮中抓住機遇，改變我國缺芯的局面。