亞信數據何鴻凌：我們?yōu)槭裁匆龃髷祿aaS

　　作者：何鴻凌/亞信數據LDP云平臺部總經(jīng)理

　　1 分工是推動(dòng)人類(lèi)社會(huì )進(jìn)步的原動(dòng)力

　　隨著(zhù)人類(lèi)進(jìn)步的速度不斷加快，分工不斷細化;細化以后的分工導致了更加專(zhuān)業(yè)的技術(shù)出現，更加專(zhuān)業(yè)的技術(shù)反過(guò)來(lái)又促進(jìn)了分工的進(jìn)一步細化，由此人類(lèi)社會(huì )的發(fā)展變成了非線(xiàn)性的指數級增長(cháng)模式。

　　當每個(gè)家庭不再自己磨麥子、做面包，而是從面包師手中購買(mǎi)以后，分工更細了，所有人的工作效率得以提升，從而整個(gè)社會(huì )的效率得以提升，人類(lèi)也從農業(yè)社會(huì )逐步過(guò)渡到工業(yè)社會(huì )，從工業(yè)社會(huì )到信息社會(huì )更是如此。

　　我們要做大數據PaaS的原因也是如此。我們認為，不久的將來(lái)，一切皆服務(wù)，一切IT也皆服務(wù)。

　　2 IT世界的分工

　　最開(kāi)始做IT是在二戰之后的50年代，那個(gè)時(shí)代基本沒(méi)有什么分工，連軟件都是編碼在硬件之中。到了60年代，基本上操作系統的概念已經(jīng)非常明確了，軟件正式被從硬件中分離了出來(lái)，之后一類(lèi)一類(lèi)的專(zhuān)業(yè)軟件被分化出來(lái)：工具軟件、數據庫、中間件。

　　軟件專(zhuān)業(yè)化之后出現了部署方式的分工，標志性事件就是云計算概念的提出。其實(shí)這個(gè)概念非常早就出現了，但直到網(wǎng)絡(luò )帶寬可以比擬計算機內部帶寬的時(shí)代才有了實(shí)用價(jià)值。

　　最初是IaaS，aws的一系列服務(wù)極大改變了IT的業(yè)態(tài)，創(chuàng )業(yè)公司不再租用主機設備、機房和網(wǎng)絡(luò )，而是按需購買(mǎi)。IaaS的分工有效解決了系統搭建和運維的問(wèn)題，降低了創(chuàng )業(yè)公司的門(mén)檻，但這一仍還不夠。

　　接著(zhù)aws推出了一些稱(chēng)之為iPaaS的服務(wù)，比如 RDS和Elastic Cache。在解放了(或者說(shuō)解雇了)系統管理員的基礎上，aws進(jìn)一步解放了(或者說(shuō)解雇了)平臺管理員，人們不再需要DBA之類(lèi)的角色，因為aws把所有事情都統一做了，而且因為其規模效應而收費便宜。

　　這一切仍然不夠，人們(通常先是創(chuàng )業(yè)公司，然后是大型企業(yè))希望能更簡(jiǎn)單、更快速，怎么辦呢?Google給出了另一個(gè)選擇--GAE服務(wù)，大體的意思是用戶(hù)提供代碼，GAE進(jìn)行運行(Show me the code)。而Heroku推出的服務(wù)更是可以跟開(kāi)發(fā)人員日常使用的版本管理工具git緊密結合起來(lái)，就像保存代碼到版本服務(wù)器上一樣，發(fā)布應用就完成了。這簡(jiǎn)直是一個(gè)神奇的魔法。于是Devops、十二因子開(kāi)發(fā)方法等逐漸形成。這種形態(tài)的服務(wù)可以稱(chēng)之為aPaaS，因為其服務(wù)于application。

　　當然在往上還有一個(gè)最終的形態(tài)就是SaaS，所有的碼農都被解放了(或者解雇了)，軟件通過(guò)服務(wù)的形式直接提供給最終用戶(hù)。不過(guò)軟件往往有很多個(gè)性化的東西，具備長(cháng)尾現象，這是SaaS模式難以全部覆蓋的。

　　3 大數據的世界是如何的?

　　很有幸，2001年本人畢業(yè)就進(jìn)入了BI/DW(數據倉庫與商業(yè)智能)這個(gè)領(lǐng)域，與數據打交道的時(shí)間超過(guò)了15年。從一個(gè)人寫(xiě)統計分析程序，到帶領(lǐng)團隊建設系統，再到運營(yíng)商總部負責全網(wǎng)BI和集中化BI的規劃，可以說(shuō)從不同的角度體驗了數據分析和平臺的方方面面。

　　毫無(wú)疑問(wèn)，在不久之前，這個(gè)領(lǐng)域的技術(shù)含量實(shí)在是少得可憐。有限的數據和有限的分析方法加上有限的需求使得建BI就是為了出報表，各個(gè)公司的BI系統都需要努力證明自己是有價(jià)值的。但是世界改變得很快，隨著(zhù)技術(shù)的進(jìn)步，大量的數據被累積下來(lái)，Hadoop等大規模并行處理的平臺被發(fā)明出來(lái)，各種使用數據的場(chǎng)景被一一探明?！按髷祿边@個(gè)替代BI 的概念被正式提出。

　　很快，大數據領(lǐng)域的技術(shù)復雜度飛快地上去了，一開(kāi)始大家都在搭建各種各樣的傳統數據庫、然后是各種各樣的MPP數據庫、接著(zhù)是Hadoop中的各個(gè)組件、現在又都在搭建加入了實(shí)時(shí)流處理技術(shù)的lambda架構。

　　因此，大數據的軟件專(zhuān)業(yè)化相比傳統IT的軟件專(zhuān)業(yè)化來(lái)得更早，時(shí)間更短。但是大數據平臺部署的專(zhuān)業(yè)化，只能說(shuō)處于非常早期的萌芽狀態(tài)。各地方、各公司，甚至是公司中的各個(gè)部門(mén)都在重復的搭建大數據基礎平臺。

　　參考網(wǎng)上的資料和文檔自己搭建一個(gè)大數據平臺來(lái)進(jìn)行測試和開(kāi)發(fā)固然難度不大，但是要真正投入生產(chǎn)、進(jìn)行性能調優(yōu)、保證數據安全就不是那么簡(jiǎn)單的事情了，需要豐富的經(jīng)驗才有可能做好。如果大數據的平臺無(wú)法形成規模效益，而又想要享受所有大數據紅利的話(huà)，相當于每一個(gè)公司都在做與BAT一樣的事情，一定會(huì )忙于搭建各種硬件、大數據軟件平臺，而沒(méi)有時(shí)間精于自己的業(yè)務(wù)邏輯和分析算法，這樣想要取得成功基本是不可能的。

　　4 大數據尚未與云計算有機結合

　　早前在運營(yíng)商負責全網(wǎng)BI系統規劃時(shí)，會(huì )頻繁遇到一個(gè)問(wèn)題，各個(gè)省公司、各個(gè)部門(mén)都希望自己搭建大數據平臺，到處都缺少人才，甚至都在爭搶集成商的支持。隨著(zhù)大數據技術(shù)的蓬勃發(fā)展，這個(gè)問(wèn)題變得非常嚴重，關(guān)鍵在于沒(méi)有規模效益。公司能培養一百名大數據專(zhuān)家已經(jīng)非常不容易了，但是如果分散在三十一個(gè)省，又分散在其中的3個(gè)IT部門(mén)(業(yè)務(wù)支撐、網(wǎng)管支撐和管理信息支撐系統)，那么每個(gè)部門(mén)只能分到一個(gè)人。

　　所以當時(shí)我們就開(kāi)始規劃“能否實(shí)現平臺和應用分離?”“可否統一搭建一個(gè)大數據平臺，然后各個(gè)省公司、專(zhuān)業(yè)公司在平臺上做分析模式、搭建自己的應用?”這種集中化經(jīng)分的規劃，可能是業(yè)界第一次提出大數據能力開(kāi)放平臺(PaaS)的概念。希望數據能夠集中，能力能夠集中，而應用可以分散。這樣的話(huà)既能充分發(fā)揮大數據的價(jià)值、又能達到大數據平臺的規模效益。當前這個(gè)系統還在建設的過(guò)程中。

　　后來(lái)我來(lái)到了亞信數據，因為我認為同樣的情況可能更廣泛的存在。如果能把大數據和云計算結合起來(lái)，將大數據能力通過(guò)云計算的模式來(lái)提供，是否可以避免各個(gè)企業(yè)、各個(gè)部門(mén)重復去搭建大數據基礎設施?如果可以按需享受到比擬BAT的頂級大數據平臺的服務(wù)，只用使用而不用維護，他們會(huì )不會(huì )Happy?這就是大數據PaaS平臺正在做的事情。這些雜七雜八專(zhuān)業(yè)的事情，通過(guò)分工的形式由專(zhuān)業(yè)的公司來(lái)進(jìn)行保障，使用者只需使用即可。

　　5 數據本身，其實(shí)也是一種服務(wù)

　　大數據PaaS最重要的就是數據資源的管理，把它與大數據能力一樣看待，通通抽象成服務(wù)，即一切皆服務(wù)。誰(shuí)能用這些數據，誰(shuí)不能用這些數據，反應到PaaS中就是誰(shuí)能訂購這些服務(wù)，而誰(shuí)不能。這樣簡(jiǎn)單的抽象簡(jiǎn)化了系統的實(shí)現。

　　6 忙忙碌碌在干什么

　　如同開(kāi)篇所說(shuō)的一樣，我們認為分工是推動(dòng)人類(lèi)社會(huì )進(jìn)步的原動(dòng)力。而現在可以看到大數據平臺的領(lǐng)域中，分工并沒(méi)有達到最優(yōu)，還能看到很多簡(jiǎn)單的重復勞動(dòng)。這些勞動(dòng)由于沒(méi)有達到規模效應而效率很差，造成擁有成本很高。這種高的成本導致的現象，就使很多企業(yè)的大數據價(jià)值無(wú)法充分發(fā)揮出來(lái)，無(wú)論是對內大數據變現還是對外大數據變現。由于無(wú)法達成交易，整個(gè)社會(huì )的福利也因此受到了影響。

　　我們希望改變這一切，根據多年的經(jīng)驗，將大數據的PaaS平臺定位成框架、應用和服務(wù)3個(gè)方面。

　　·重型的，帶有持久化的部分作為“服務(wù)”被集成到大數據PaaS平臺中，比如MPP數據庫、Hadoop之類(lèi)的就屬于此，還包括更加流行的流處理、機器學(xué)習等能力。各項能力通過(guò)一個(gè)標準的能力管理接口接入框架之中，提供了對大數據能力的透明性。采用的標準是Cloud Foundry中的service broker協(xié)議，目前版本為2.8。

　　·輕型的，不帶持久化的部分作為“應用”被集成到大數據PaaS平臺中，比如各種可視化、數據探索、推薦引擎、監控告警等。采用的技術(shù)標準是Docker，并通過(guò)Kubernetes容器管理系統進(jìn)行封裝。也就是說(shuō)任何能跑在Docker中的應用，無(wú)論是單機的，還是集群的，均可以放心的托管到系統上，可擴展性和高可用性都由平臺去搞定。

　　·管理上述兩塊就是框架。它將“服務(wù)”和“應用”有機地結合在一起。并負責認證、權限、計費、審計、日志、監控等管理。

　　毫無(wú)疑問(wèn)我們采用的是一個(gè)開(kāi)放的體系，因為我們認為大數據的世界如此的豐富多彩，任何一個(gè)廠(chǎng)家都無(wú)法提供所有的服務(wù)，開(kāi)發(fā)所有的應用，開(kāi)放合作可以實(shí)現共贏(yíng)。

　　7 小結

　　知名調研公司Gartner預計，今年公共云服務(wù)方面的全球開(kāi)支將增長(cháng)16%，達到超過(guò)2040億美元，同時(shí)預測全球IT開(kāi)支將比上一年略下降0.5%，達到3.49萬(wàn)億美元。請注意這種開(kāi)支的下降是在IT需求增加的背景下達成的，云計算提高社會(huì )效率可見(jiàn)一斑。

　　去年CSDN的調查中，發(fā)現全國IT人員的分布中，數據庫管理員DBA的職位比例明顯下降，這疑似被云中的各種RDS所替代。這又是云計算提高社會(huì )效率的一個(gè)例證。從個(gè)人或某個(gè)細分的職業(yè)來(lái)說(shuō)，可能是悲劇，但對于社會(huì )整體來(lái)說(shuō)，這是進(jìn)步要付出的代價(jià)。這也提醒從事大數據職業(yè)的人群，如果工作無(wú)法達到規模效益，效率無(wú)法持續提高，那么其崗位就有被其他模式所替代的風(fēng)險。

　　大數據的能力是否也能像云一樣流淌到千家萬(wàn)戶(hù)?在不久的將來(lái)，是否每個(gè)公司、甚至每個(gè)個(gè)人，都可以像在BAT這樣的大公司中一樣享受低成本的大數據紅利?

　　當這種長(cháng)尾的效應釋放出來(lái)的時(shí)候，世界應該會(huì )變得更加有效率。