AI前線導(dǎo)讀：“2017年，AI芯片是半導(dǎo)體產(chǎn)業(yè)的亮點(diǎn)，而它受到的關(guān)注又遠(yuǎn)遠(yuǎn)超出半導(dǎo)體的圈子。這一年，從科技巨頭到初創(chuàng)公司，新老角色輪番登場(chǎng)，為我們上演了精彩好戲。若干年后，當(dāng)我們?cè)倩仡^來看，一定可以把2017年作為AI芯片元年。”

GoolevsNvidia巨頭之間的“錯(cuò)位戰(zhàn)爭(zhēng)”

四月初，Google公布了一篇即將在ISCA2017上發(fā)表的論文：“In-DatacenterPerformanceAnalysisofaTensorProcessingUnit”?？梢哉f正是這件“小事”，揭開了一部年度大戲的序幕，而它產(chǎn)生的深遠(yuǎn)影響甚至可能會(huì)持續(xù)到很多年之后。其實(shí)，在2016年6月的時(shí)候Google就透露了自己研發(fā)了一款在云端使用的專用AI芯片，TPU（TensorProcessingUnit）。Google做AI芯片當(dāng)然是吸引眼球的新聞，但苦于一直沒有公布細(xì)節(jié)，大家也只能猜測(cè)和等待。因此，這篇普通的學(xué)術(shù)論文，得到了媒體的極大關(guān)注。我也在第一時(shí)間寫了一篇評(píng)論文章：“GoogleTPU揭秘”，也是我的公眾號(hào)閱讀量最大的文章之一。對(duì)TPU高度關(guān)注的當(dāng)然不只我們這些吃瓜群眾，還有AI芯片領(lǐng)域絕對(duì)的統(tǒng)治者Nvidia。后面就發(fā)生了黃教主和Google間關(guān)于TPU的Benchmark結(jié)果是否合理的口水戰(zhàn)。而早在2016年Google透露TPU的時(shí)候，Nvidia就多次表示它對(duì)GPU在AI運(yùn)算上的統(tǒng)治地位沒有什么威脅。

5月11日，NvidiaGTC2017大會(huì)，黃教主在Keynote上拋出了最新的GPUVolta（GV100）。Nvidia股票應(yīng)聲大漲，媒體也是大肆報(bào)道。AI芯片的焦點(diǎn)似乎又回到了Nvidia這一邊。

除了公布了重量級(jí)的Volta，GTC上還有一個(gè)“小事件”，Nvidia宣布開源它的DeepLearningAccelerator（DLA），9月正式公開。這個(gè)發(fā)布，在黃教主的Keynote中是一句話帶過，但在業(yè)界引起的震動(dòng)卻一點(diǎn)也不小?！癗vidia為什么要搞開源？會(huì)開源什么東西？這個(gè)開源會(huì)不會(huì)影響眾多初創(chuàng)公司的前景？”對(duì)這些問題的討論一直延續(xù)到NVDLA真正開源之后。

沒過多久，5月17日，在GoogleI/O大會(huì)上，Google公布了第二代TPU，用媒體的話說“…stoleNvidia’srecentVoltaGPUthunder…”。雖然TPU2的細(xì)節(jié)公布的并不多，但指標(biāo)確實(shí)看起來很不錯(cuò)，而且具有非常好的可擴(kuò)展性。唯一的遺憾就是它并不對(duì)外銷售，只能以TPUCloud的方式供大家使用。

9月下旬，JeffDean這位Google的軟件大神參加了HotChip這個(gè)芯片界的重要會(huì)議，并在Keynote“RecentAdvancesinArtificialIntelligenceviaMachineLearningandtheImplicationsforComputerSystemDesign”也親自介紹了TPU和TPU2的情況，把它們作為新的計(jì)算生態(tài)中重要的一環(huán)。

9月底，NVDLA在承諾的最后期限之前開源了NVDLA的部分硬件代碼，同時(shí)公布了未來開源更多硬件和軟件的路線圖。這之后，大家對(duì)NVDLA也做了各種分析和討論，試圖把它玩起來。從目前來看，NVDLA的開源好像并沒有影響眾多初創(chuàng)公司的融資。這個(gè)話題我們后面再說。至于Nvidia開源DLA的原因，官方的說法是讓更多人可以更容易的實(shí)現(xiàn)Inference，促進(jìn)AI的推廣，特別是在眾多嵌入式設(shè)備上的應(yīng)用。但從整個(gè)開源的過程來看，這個(gè)開源的決定似乎是比較倉促的。DLA來自Nvidia自動(dòng)駕駛SoC中的一個(gè)module，最初并不是以開源IP為目的而設(shè)計(jì)的。而且9月的開源也只公開了一部分硬件代碼和相應(yīng)的驗(yàn)證環(huán)境，離真正能用起來也還是有較大差距。我們不好判斷這個(gè)開源的決定是否和GoogleTPU（在Inference上有比較大的優(yōu)勢(shì)）的強(qiáng)勢(shì)亮相有關(guān)系。但基本的推測(cè)是，在DeepLearning中Nvidia的核心利益應(yīng)該在于Training（目前GPU還是training的最好平臺(tái)）。讓Inference門檻更低，滲透到更多應(yīng)用，特別是Edge端，從而進(jìn)一步促進(jìn)Training的需求，應(yīng)該是符合它的最大利益的。而且NVDLA的軟件環(huán)境還是使用Nvidia的CUDA/TensorRT，還是由Nvidia掌控的。

這場(chǎng)從一篇論文開始，幾乎貫穿了2017年全年的Google和Nvidia的明爭(zhēng)暗斗，對(duì)業(yè)界的影響可能要遠(yuǎn)遠(yuǎn)超過這兩家公司本身。我之所以把它稱為“錯(cuò)位”的戰(zhàn)爭(zhēng)，是因?yàn)樗l(fā)生在Google這樣的傳統(tǒng)的軟件巨頭和Nvidia這樣的芯片巨頭之間。如果換成IntelvsNvidia，似乎是再正常不過的。Google的參戰(zhàn)，也許是開啟了新的時(shí)代。我們可以看到，不僅是TPU，Google在10月又公布了他們?cè)凇癎ooglePixel2”手機(jī)中使用的定制SoCIPU（ImageProcessingUnit）。和Apple越來越多的自己定制芯片一樣，Google這樣的科技巨頭同樣有應(yīng)用（明確知道自己要什么），技術(shù)（對(duì)相關(guān)技術(shù)的多年積累），資源（不缺錢，不缺人）上的優(yōu)勢(shì)，定制自己的硬件，甚至芯片會(huì)變得常態(tài)化。同時(shí)我們也看到，GoogleTPU的示范效應(yīng)已經(jīng)顯現(xiàn)，更多的科技巨頭加入AI加速硬件的競(jìng)爭(zhēng)。Tesla宣布自己定制自動(dòng)駕駛芯片；Amazon，Microsoft，以及國(guó)內(nèi)的BAT，華為都在Cloud中提供專門的FPGA加速的支持；據(jù)稱BigFive中還有在自己開發(fā)芯片的；BAT也都在組建芯片設(shè)計(jì)的團(tuán)隊(duì)，等等。雖然大家具體的架構(gòu)和實(shí)現(xiàn)方式不同，但都反映出對(duì)AI專用硬件的極大興趣。相信未來這一趨勢(shì)會(huì)越來越明顯。

同時(shí)，傳統(tǒng)的芯片巨頭當(dāng)然不會(huì)坐視這個(gè)巨大的市場(chǎng)被Nvidia主宰或者被Google們瓜分。Intel連續(xù)收購了Nervana（云），Movidius（端），Mobileye（自動(dòng)駕駛），Altera（FPGA），又把AMD的RajaKudori（GPU）招至帳下，甚至還搞了Loihi（nueromorphic），可以說拿了一手好牌；雖然動(dòng)作沒有大家想象的那么快，但后面的發(fā)力還是值得期待的。AMD也在努力追趕，畢竟他們的CPU+GPU有自己絕活，而整個(gè)公司也已經(jīng)逐漸走出了低谷。而且，不管Tesla和AMD合作自動(dòng)駕駛芯片的消息到底是真是假，芯片公司這種輸出芯片設(shè)計(jì)能力的模式也是一種不錯(cuò)（或者無奈）的選擇。

“以DeepLearning為代表的新型計(jì)算模式將引領(lǐng)未來芯片的發(fā)展方向”，這一觀點(diǎn)基本已經(jīng)是大家的一個(gè)共識(shí)。越來越多的玩家會(huì)關(guān)注能夠支持新型計(jì)算的芯片，其中很多可能之前完全不在半導(dǎo)體這個(gè)圈子，也完全不了解芯片是怎么回事。2017年我們不時(shí)能看到一些對(duì)比CPU，GPU，F(xiàn)PGA和ASIC架構(gòu)的科普文章，甚至有10W+的閱讀量，不難看出大家的熱情。

初創(chuàng)公司長(zhǎng)長(zhǎng)的list

2017的AI芯片大戲中，主角不僅是巨頭，初創(chuàng)公司也都粉墨登場(chǎng)，戲份一點(diǎn)兒都不遜色。更重要的，在初創(chuàng)公司的“表演”中，中國(guó)公司不僅毫不怯場(chǎng)，而且非常出彩。我從8月份開始在github上維護(hù)一個(gè)AI芯片的列表，既包括大公司的產(chǎn)品，又包括初創(chuàng)公司的情況。到12月，這個(gè)列表中的信息越來越多，世界范圍內(nèi)的初創(chuàng)公司有30多家。而且這個(gè)列表還只包含了公開信息，還有很多公司處在stealth狀態(tài)并沒有收錄。我也聽到一個(gè)說法，在AI芯片領(lǐng)域的初創(chuàng)公司可能超過了100家，在TSMC排隊(duì)投片也有30家。

不管在什么領(lǐng)域，初創(chuàng)公司都會(huì)面臨很多風(fēng)險(xiǎn)和不確定性，也可能在成長(zhǎng)過程中不斷調(diào)整和變化。AI芯片當(dāng)然也不例外。我們看到，在這一年中，很多公司在不斷成長(zhǎng)，逐漸明確自己的方向和定位，走的越來越堅(jiān)實(shí)。另一方面，從今年初創(chuàng)公司融資的情況來看，這個(gè)領(lǐng)域（也包括更大范圍的AI概念）也明顯出現(xiàn)一些泡沫。有些公司，在沒有任何實(shí)際東西的情況下，就可以實(shí)現(xiàn)“PPT融資”或者“Paper融資”。有些公司，重心放在了PR上面，功夫都是做給VC看的，人稱“2VC”公司。面對(duì)AI這個(gè)趨勢(shì)性機(jī)會(huì)，有泡沫當(dāng)然也是正?，F(xiàn)象，只是希望這些泡沫不要傷害整個(gè)市場(chǎng)的發(fā)展。

拋開各種煙霧和泡沫，我們逐漸在這個(gè)領(lǐng)域初創(chuàng)公司也看到一些“龍頭企業(yè)”。比如國(guó)內(nèi)的寒武紀(jì)、地平線、深鑒科技和比特大陸，都在2017年發(fā)布了自己的產(chǎn)品；美國(guó)的Cerebras、WaveComputing、Graphcore和Groq（前GoogleTPU主要設(shè)計(jì)者創(chuàng)立），或有雄厚的實(shí)力，或有自己特色的技術(shù)和比較清晰的產(chǎn)品。在2017年，國(guó)內(nèi)也出現(xiàn)一些依托應(yīng)用開發(fā)芯片的AI初創(chuàng)公司，這些公司大多以應(yīng)用牽頭研發(fā)芯片。我也預(yù)期在2018年會(huì)看到更多這樣的情況。當(dāng)然，很多初創(chuàng)公司并沒有公開自己的信息，不排除正在憋大招的可能性。

熟悉半導(dǎo)體產(chǎn)業(yè)的朋友可能比較清楚，半導(dǎo)體領(lǐng)域初創(chuàng)公司獲得VC投資在之前是非常困難的。主要原因是這個(gè)產(chǎn)業(yè)風(fēng)險(xiǎn)大，門檻高，周期長(zhǎng)。但2017年，AI芯片的初創(chuàng)企業(yè)卻受到了資金追捧。我們可以看看今年的一些公開的融資數(shù)據(jù)。寒武紀(jì)：1億美金（估值近10億美金）；深鑒科技：4000萬美金；地平線：近億美金；；Cerabras：6000萬美金（估值8.6億美金）；Graphcore：5000萬美金。在前面我也提到，當(dāng)Nvidia宣布要開源DLA的時(shí)候，大家感覺會(huì)對(duì)初創(chuàng)公司的融資和估值有一定影響。但從結(jié)果來看，這種情況并沒有出現(xiàn)。在9月之后，我們又看到很多初創(chuàng)公司成功融資。而投資者的熱情似乎一點(diǎn)都沒有減弱，只要有一個(gè)新的公司出現(xiàn)，立刻會(huì)有很多投資機(jī)構(gòu)蜂擁而至。

為什么傳統(tǒng)上不愿意碰半導(dǎo)體產(chǎn)業(yè)的投資者現(xiàn)在卻對(duì)AI芯片趨之若鶩呢？這是一個(gè)有趣的問題。具體的原因可能有很多方面，整個(gè)AI領(lǐng)域的投資熱潮應(yīng)該是一個(gè)主要原因。如果觀察這些投資背后的資本，可以看到很多本身就是AI領(lǐng)域很活躍的投資者，甚至本身就是把AI作為未來重點(diǎn)的科技巨頭，比如BAT。而傳統(tǒng)的投資半導(dǎo)體領(lǐng)域的資金倒是比較謹(jǐn)慎一些。從這個(gè)角度來說，這些沒有太多半導(dǎo)體背景的資本大量進(jìn)入芯片領(lǐng)域，是會(huì)給大家?guī)硇碌臋C(jī)會(huì)和視野，還是帶來風(fēng)險(xiǎn)和不確定性，還是有待觀察的。另外，現(xiàn)在所說的AI芯片，一般是指DeepLearning加速芯片，相對(duì)來說，關(guān)鍵算法簡(jiǎn)單清晰，優(yōu)化目標(biāo)非常明確，很多技術(shù)（比如矩陣運(yùn)算的硬件加速）已有多年的研究基礎(chǔ)。而對(duì)這種硬件加速器的驗(yàn)證，測(cè)試和調(diào)試也相對(duì)容易。如果不進(jìn)行精細(xì)的優(yōu)化，硬件部分可以由一個(gè)較小團(tuán)隊(duì)在較短時(shí)間完成。這些技術(shù)上的特征比較適合初創(chuàng)公司快速嘗試。當(dāng)然，做一個(gè)加速芯片（或者IP）的硬件只是第一步。要真正做出能被市場(chǎng)接受的產(chǎn)品，則需要很多扎實(shí)的工作，產(chǎn)品定義，硬件效能，軟件工具，系統(tǒng)測(cè)試，現(xiàn)場(chǎng)支持等等，一個(gè)短板也不能有。雖然大家都很關(guān)心投片的時(shí)間，但樣片出來之后，臟活累活還多著呢。

2018關(guān)注什么

對(duì)于2018，我還是非常期待的。作為一名多年從事芯片架構(gòu)設(shè)計(jì)多年的工程師，我首先期待看到一些技術(shù)上的創(chuàng)新。2017年我寫了不少分析AI芯片相關(guān)技術(shù)的文章，到年末幾乎有點(diǎn)審美疲勞了（相信讀者也是一樣），似乎新鮮東西越來越少。在2017年底，有一個(gè)叫Vathys的初創(chuàng)公司，一下子開了好幾個(gè)腦洞，全定制的AsynchronousLogic，等效的時(shí)鐘可以到12GHz（28nm工藝）；High-densitySRAM（1T-SRAM），片上存儲(chǔ)容量可以達(dá)到1.5GB（28nm）；Wireless3DStacking，10,000GBit/S@~8fJ/bit。這幾項(xiàng)技術(shù)要么是目前還停留在學(xué)術(shù)研究階段，要么是曾經(jīng)曇花一現(xiàn)。一個(gè)初創(chuàng)公司一下就祭出這幾個(gè)大招，又是這么高的指標(biāo)，真有可能實(shí)現(xiàn)嗎？所以，當(dāng)Vathys的老板發(fā)郵件說應(yīng)該把他們公司加到我做的AI芯片List里的時(shí)候，我開始是婉拒的。不過，換一個(gè)角度來看，即使是他們完全在忽悠，也算是擊中了DeepLearning處理器的痛點(diǎn)。而且這幾項(xiàng)技術(shù)目前也都有人在研究，在AI的熱潮和巨大的資金支持下也許真能搞出來也說不定。所以，我還是希望看到他們或者是其它團(tuán)隊(duì)能夠在這幾項(xiàng)技術(shù)上取得突破，讓我們真正激動(dòng)一把。說到技術(shù)的突破，我們未來（可能要比2018年更遠(yuǎn)）還可以期待看到在存儲(chǔ)技術(shù)上的突破，以及由新的存儲(chǔ)技術(shù)帶動(dòng)的架構(gòu)上的創(chuàng)新，包括Neuromorphic這條技術(shù)路線。

接下來，當(dāng)然是巨頭們的下一步動(dòng)作。Google的TPU是否會(huì)賣給自己之外的用戶，直接和Nvidia展開競(jìng)爭(zhēng)？目前ONNX陣營(yíng)已經(jīng)形成和Google的對(duì)峙，Google作為生態(tài)最完整的廠商，推廣TPU對(duì)鞏固自己的領(lǐng)先地位很有意義。BigFive和BAT哪個(gè)會(huì)學(xué)習(xí)Google榜樣直接自研芯片？阿里達(dá)摩院的芯片研究會(huì)不會(huì)從AI開始？Intel能不能如大家所期待的全面爆發(fā)？Nvidia會(huì)如何應(yīng)對(duì)來自各方的挑戰(zhàn)，是否會(huì)做更專用的加速芯片，而不是僅僅在GPU中加個(gè)TensorCore？高通什么時(shí)候在手機(jī)芯片中加上硬件加速器？ARM下一步會(huì)怎么走，會(huì)不會(huì)橫掃嵌入端？……隨便想想就會(huì)有很多值得期待的看點(diǎn)。最近我們也看到，為了對(duì)抗Nvidia，AMD和Intel竟然很罕見的宣布合作。而IBM在Power9上和Nvidia深度合作。2018年也許我們還能看到業(yè)界巨頭間更多的合縱連橫。

初創(chuàng)公司的命運(yùn)也是2018年最大的看點(diǎn)。我在之前的一篇文章中說過“對(duì)于AI芯片的startup來說，2018年就算不是畢業(yè)大考，也至少到了學(xué)期末考試了…”。2018年，大部分初創(chuàng)公司都將會(huì)交出第一次測(cè)驗(yàn)的結(jié)果（芯片），也會(huì)開始小批量的試用。相信到時(shí)會(huì)有比較公平的Benchmarking結(jié)果出現(xiàn)，“理論上”的指標(biāo)會(huì)被實(shí)際的“跑分”結(jié)果取代。雖然對(duì)于初創(chuàng)公司來說，犯錯(cuò)誤是可以容忍的，第一代芯片也不能完全代表公司未來的前景。但是，做芯片需要巨大資源的持續(xù)支持，這個(gè)階段掉隊(duì)可能非常危險(xiǎn)。當(dāng)然，第一次的淘汰對(duì)于真正優(yōu)秀的企業(yè)也是最好的機(jī)會(huì)。我非常期待看到能夠在考試中脫穎而出，并跨上新的臺(tái)階（或者直接畢業(yè)）的同學(xué)；或者，會(huì)有我們不認(rèn)識(shí)的面孔，突然驚艷出場(chǎng)。另外，2018年，在Edge端會(huì)有更多的傳統(tǒng)芯片廠商加入競(jìng)爭(zhēng)，三星，高通，MTK，展訊等等；而在嵌入端IP上有絕對(duì)優(yōu)勢(shì)的ARM應(yīng)該也會(huì)有更大的動(dòng)作，這些都可能會(huì)對(duì)初創(chuàng)公司的命運(yùn)產(chǎn)生重大影響。

最后，是變局的可能。從整體上來講，AI整體上在2018年會(huì)怎么發(fā)展是一個(gè)大家都非常關(guān)注的問題。繼續(xù)高速增長(zhǎng)，還是平穩(wěn)發(fā)展，又或者會(huì)遇到問題高開低走？不管是哪種情況，AI芯片必然會(huì)受到大勢(shì)的影響。比較特殊的是，芯片研發(fā)的周期大約在9到18個(gè)月左右，這比軟件應(yīng)用的開發(fā)和更新周期要長(zhǎng)的多。再加上一些滯后效應(yīng)，芯片的發(fā)展很難和算法和應(yīng)用的發(fā)展節(jié)奏同步。芯片開發(fā)中一個(gè)比較可怕的問題就是未來的不確定性。相對(duì)來說，一個(gè)可預(yù)期的平穩(wěn)增長(zhǎng)的環(huán)境是最有利于芯片研發(fā)的，可以讓芯片設(shè)計(jì)者能夠更好的規(guī)劃產(chǎn)品和協(xié)調(diào)資源。

另一種變局情況是，算法層面發(fā)生巨大的變化，也就是技術(shù)上的不確定性。這幾年最成功的AI算法就是基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)。這正是目前AI芯片在需求上的基礎(chǔ)，也決定了現(xiàn)在大部分AI芯片都是以加速這一類算法為目標(biāo)的。如果基本算法需求發(fā)生變化，會(huì)對(duì)AI芯片的設(shè)計(jì)產(chǎn)生很大的影響。比如，目前已經(jīng)有一定應(yīng)用基礎(chǔ)的低精度網(wǎng)絡(luò)，也就是在inference中使用非常低的精度，甚至直接使用二值網(wǎng)絡(luò)。如果這種Inference得到廣泛應(yīng)用，現(xiàn)在的芯片架構(gòu)則可能得要重新考慮。再比如，如果Hinton大神的capsulenetworks得到實(shí)用，也可能會(huì)需要新的芯片架構(gòu)來支持。畢竟AI領(lǐng)域現(xiàn)在發(fā)展很快，所以大家也都必須要時(shí)刻盯著應(yīng)用和算法層面最新的進(jìn)展。我們也要隨時(shí)問自己下面的問題（來自JeffDean在NIPS2017的演講）。

總結(jié)

2017年馬上就要過去，在這幾年相對(duì)“平淡”的半導(dǎo)體領(lǐng)域，AI芯片讓我們小激動(dòng)了一下。其實(shí)可聊的事情很多，以上文字基本上是想到哪寫到哪，也都是個(gè)人一點(diǎn)點(diǎn)感想，準(zhǔn)確的地方，還請(qǐng)各位多多指正，多多包含。

祝各位讀者2018年萬事如意！更要祝各位奮戰(zhàn)在AI芯片第一線的各位同仁獲得成功！