一直被噴不實(shí)用的超算 在深度學(xué)習時(shí)代會(huì )改變嗎？

　　在中學(xué)課本里，我們都學(xué)到過(guò)“超級計算機”這個(gè)概念，在印象里它通常和神州五號、航空母艦等等高科技設備出現在同一個(gè)章節，屬于國家科研能力的體現，更是在國際科技戰備的賽點(diǎn)。

　　現在這么多年過(guò)去了，一回神中國超級計算機的代表作已經(jīng)從天河進(jìn)化成了神威·太湖之光，并且通過(guò)對地震、海浪等等自然現象的精確模擬兩次獲得了戈登貝爾獎。

　　據稱(chēng)，戈登貝爾獎是超算領(lǐng)域的最高獎項，在獎項評選標準中更多會(huì )考慮到超算項目的實(shí)際應用性。過(guò)去三十年中，這一獎項一直被美國和日本壟斷，直到最近兩年才被中國蟬聯(lián)。

　　說(shuō)實(shí)在的，大多數人的印象中，中國超算經(jīng)過(guò)這么多年的發(fā)展，還實(shí)現了“零的突破”，可在IT領(lǐng)域中，我們似乎更多的受益于互聯(lián)網(wǎng)、移動(dòng)終端的發(fā)展。

　　地震?海浪?超算到底能干嘛

　　擁有這種疑問(wèn)的人不是少數，超級計算機這幾年開(kāi)始頻繁的受到一種質(zhì)疑：強大的算力究竟有什么用?耗費這么多科研經(jīng)費和資源，是不是只是為了刷排名而沒(méi)有實(shí)用價(jià)值?

　　其實(shí)人們會(huì )產(chǎn)生這種疑問(wèn)是很正常的，超級計算機從研發(fā)到生產(chǎn)以至于后期的運維，成本都非常之高。研發(fā)時(shí)凝聚的高精尖科研力量自不必提，產(chǎn)品上光是CPU/GPU就有幾千個(gè)，占地面積要達到上千平方米。使用起來(lái)更是電老虎，以天河二號為例，滿(mǎn)負荷運行的情況下，一天的電費就需要30萬(wàn)。而大量的計算還會(huì )讓超級計算機發(fā)熱，如何降溫還成了個(gè)大問(wèn)題。

　　所以，這么昂貴的超級計算機都用來(lái)做什么了呢?

　　以去年神威·太湖入圍戈登貝爾的幾個(gè)項目為例，他們分別是“千萬(wàn)核可擴展全球大氣動(dòng)力學(xué)全隱式模擬”、“高分辨率海浪數值模擬”和“鈦合金微結構演化相場(chǎng)模擬”。

　　em……沒(méi)錯，除去軍事應用外，超級計算機通常會(huì )被應用于天文、氣象、基礎物理、化學(xué)等等方面的研究。乍一聽(tīng)起來(lái)，的確離人們的現實(shí)生活太遠了。畢竟現在整個(gè)世界都還沒(méi)用出現什么突破以往物理定律的新發(fā)現，雖然能發(fā)射火箭，可普通人還不能進(jìn)行一次太空旅行，至于天氣預報倒是比以前準確了不少，可也沒(méi)出現過(guò)超算成功預測并避開(kāi)自然災害的情況。

　　用超級計算機玩網(wǎng)游，是一種怎樣的體驗?

　　計算這件事，在大數據遍地的今天并不少見(jiàn)，既然超級計算機的計算能力那么強，為什么不把交通大數據、金融大數據這些東西都放到上面去算呢?

　　首先，我們要對超算能力這件事有一個(gè)正確的認識。由于超級計算機集成了大量CPU，它所擅長(cháng)的也是CPU最擅長(cháng)的工作——浮點(diǎn)運算。由于計算機使用的是二進(jìn)制，所以在處理1.01這種帶小數點(diǎn)的小數時(shí)，只能用科學(xué)計數法來(lái)表示。這樣就避免了小數運算時(shí)的有窮性，可以對無(wú)窮大和無(wú)窮小的數值進(jìn)行運算。

　　超級計算機最擅長(cháng)的就是依靠并聯(lián)的CPU們對浮點(diǎn)數計算進(jìn)行并行運算?？梢猿惺芷渌嬎銠C無(wú)法承受的計算峰值。一個(gè)CPU算一道題需要5個(gè)小時(shí)，用五個(gè)CPU把這道題拆解開(kāi)來(lái)分別計算，就只需要一個(gè)小時(shí)。一些在普通計算機上要跑一個(gè)禮拜的項目，拿到超級計算機上可能兩分鐘就完成了。

　　所以現在我們知道了，超算的最大作用，是為某一種特定形式的計算節約時(shí)間。而在日常生活中，也許我們面對的問(wèn)題并不是浮點(diǎn)數計算，比如區塊鏈應用的就是單一hash的運算;又或者像電商、游戲大廠(chǎng)，它們面臨的不是高計算量，而是快速頻繁的數據并發(fā)吞吐。

　　而把計算任務(wù)部署到超算上，又面臨著(zhù)不少的成本，除去使用費用不說(shuō)，由于超算只提供編譯平臺，使用者還要自己去熟悉系統。而且目前的超級計算機雖然大多為學(xué)術(shù)機構所有，但是一想到要把自己用戶(hù)的數據拿到別人的機子上計算，總覺(jué)得有點(diǎn)怪怪的……

　　所以，超算并不是不能用來(lái)處理我們日常、商業(yè)中遇到的計算問(wèn)題，而是很多本來(lái)不是超算最擅長(cháng)的，綜合使用成本而言，沒(méi)有必要使用超算。

　　用超算訓練AI，會(huì )不會(huì )是超算民用的第一步?

　　不過(guò)一個(gè)好消息是，隨著(zhù)深度學(xué)習的普及和發(fā)展，超算的計算能力或許可以被更多人應用起來(lái)。

　　眾所周知，深度學(xué)習的神經(jīng)網(wǎng)絡(luò )層數更深，每個(gè)神經(jīng)元之間互相連接，形成了一個(gè)非常復雜的結構。而每個(gè)神經(jīng)元中又都需要Sigmoid函數這類(lèi)復雜的數學(xué)計算，加上圖像識別、語(yǔ)音識別這類(lèi)工作本身數據訓練集就很大，最后就集結成了一種非?？膳碌挠嬎懔?。

　　這幾年深度學(xué)習的發(fā)展，離不開(kāi)計算能力的發(fā)展。英偉達之所以能靠賣(mài)GPU超過(guò)同行，最大的原因就是深度學(xué)習對計算能力的依賴(lài)。

　　那么，超級計算機能不能應用在深度學(xué)習上呢?答案是肯定的。

　　在今年年初的德?lián)淙藱C大賽中，打贏(yíng)了人類(lèi)牌手的Libratus就是一個(gè)在超級計算機上訓練的AI。Libratus甚至沒(méi)有搭建神經(jīng)網(wǎng)絡(luò )，光學(xué)習了游戲規則，利用強化學(xué)習自我博弈就超越了人類(lèi)水平。

　　在國內，百度旗下的深度學(xué)習開(kāi)源平臺PaddlePaddle也支持超算應用，甚至還入選了今年的ASC超算大賽總決賽。計算性能的超越讓一些以往不可能的事情成為可能，比如上面那個(gè)德?lián)涞陌咐?，不應用神?jīng)網(wǎng)絡(luò )、單純靠強化學(xué)習的自我博弈在沒(méi)有超算的情況下可能要花費無(wú)法想象的時(shí)間，而有了超算后，這件事情就成為了可能。

　　同理，一些大量數據、長(cháng)時(shí)間的深度學(xué)習/深度強化學(xué)習模型訓練都可以在超計算機上完成。不過(guò)，這個(gè)領(lǐng)域中的超級計算機的競爭對手也不少。

　　首先就是芯片廠(chǎng)商們，英偉達、IBM、高通等等廠(chǎng)商都在爭先恐后的研發(fā)著(zhù)適用于深度學(xué)習的芯片。早在3年前，IBM推出的TrueNorth就已經(jīng)集成了54億個(gè)硅晶體管，計算能力已經(jīng)接近當年的超級計算機，功耗卻只有65毫瓦。英偉達也曾推出過(guò)集成8個(gè)GPU的“超算系統”，計算能力也可以滿(mǎn)足大部分人的需求。

　　其次就是云服務(wù)供應商，也就是上述芯片廠(chǎng)商的客戶(hù)們。他們不光花重金搭建起來(lái)能力超群的分布式計算系統，還貼心的和TensorFlow、caffe等等深度學(xué)習框架合作，讓算法可以無(wú)縫部署在系統上。阿里云在今年推出的異構計算產(chǎn)品最高可提供每秒75萬(wàn)億次的算力，雖然比起超級計算機還差的遠，但性?xún)r(jià)比卻不低。

　　最后，還有一大批以研究算法為主的技術(shù)供應商。他們雖然不能提供算力，卻可以通過(guò)種種方式壓縮算法模型，讓算法模型在更低算力的硬件中也能運行。比如西雅圖的一個(gè)創(chuàng )業(yè)團隊，就在一直嘗試用二值化神經(jīng)網(wǎng)絡(luò )調整模型精度，試圖在能耗和成果中找到一個(gè)平衡。

　　加上在深度學(xué)習上，高成本、軟件環(huán)境復雜、數據隱私擔憂(yōu)等等問(wèn)題仍然有待解決。綜合看來(lái)超級計算機仍然不是最好的解決方案。

　　讓人哭笑不得的是，很多人認為深度學(xué)習帶來(lái)的高強度計算要求會(huì )推進(jìn)超級計算機的商業(yè)化、民用應用，結果反而是帶動(dòng)了其他算力供應商的發(fā)展，給超級計算機造就了更多的競爭對手。

　　即使我們暫時(shí)還不能在生活場(chǎng)景中享受到超算帶來(lái)的益處，但超算在天文、物理、軍工上帶來(lái)的貢獻仍然是巨大的，如果沒(méi)有超算，在研發(fā)火箭、衛星時(shí)幾乎無(wú)法進(jìn)行模擬計算。而超算帶來(lái)的快速、高精度的模擬，為這些高精尖技術(shù)的研發(fā)節約了無(wú)法估計金錢(qián)和時(shí)間成本?；蛟S，等我們能在火星上觀(guān)光的那天，就會(huì )切實(shí)體會(huì )到超算帶來(lái)的福利吧。