無(wú)例可循，雙十一倒逼出中國互聯(lián)網(wǎng)「三高架構」

支付寶在沒(méi)有先例可循的情況下，自主研發(fā)構建起一個(gè)互聯(lián)網(wǎng)三高（高并發(fā)、高性能、高可用）架構的代表。

對大多數人而言，今年的雙十一可謂是無(wú)感而過(guò)。然而，這個(gè)「無(wú)感」正是今年支付寶技術(shù)團隊的一個(gè)重要目標。
隨著(zhù)「雙十一」進(jìn)入第 14 個(gè)年頭，這一現象級的標志性活動(dòng)在很大程度上已經(jīng)融入國人的日常生活，因而顯得不再那么特殊——打折促銷(xiāo)天天有，滿(mǎn)減秒殺是基操，消費者已經(jīng)習慣了隨時(shí)隨地都能下單，同城快遞隔天就到。
但是，在這些看似尋常的體驗背后，是整個(gè)零售電商和物流系統能力的規?；嵘?，而數字支付作為其中最關(guān)鍵的一環(huán)，和往年一樣，也面臨著(zhù)一系列新的復雜的技術(shù)優(yōu)化挑戰。

自誕生時(shí)起，「雙十一」便是一個(gè)極具挑戰和實(shí)際價(jià)值的技術(shù)命題。高質(zhì)高效地保障雙十一大促工作的進(jìn)行，涉及基礎設施、存儲、中間件、業(yè)務(wù)架構、交互技術(shù)與安全等多個(gè)技術(shù)領(lǐng)域，需要多部門(mén)緊密配合，能夠集中體現一個(gè)團隊的資源統籌、技術(shù)積累、工程實(shí)力和創(chuàng )新能力。
2022 年雙十一期間，在多類(lèi)日常業(yè)務(wù)以外，支付寶要為淘寶/天貓、抖音、快手、拼多多等客戶(hù)提供線(xiàn)上交易服務(wù)（包括海外支付），支持合作的****、購物中心等機構的線(xiàn)上線(xiàn)下支付業(yè)務(wù)，這些交易請求來(lái)自 POS 機、網(wǎng)銀、瀏覽器、小程序、各商戶(hù) App 等不同平臺，覆蓋了直播秒殺、跨店滿(mǎn)減、小額免密、先享后付等多個(gè)支付場(chǎng)景，較長(cháng)的促銷(xiāo)周期和多商戶(hù)線(xiàn)上線(xiàn)下疊加不僅意味著(zhù)多個(gè)流量洪峰，也進(jìn)一步提升了峰值的不確定性。
面對今年「多平臺、多場(chǎng)景、多峰值」的壓力，如何保障系統穩定，如何在控制成本的同時(shí)確保系統容量可伸縮？本文將從超大規模分布式系統穩定性和高可用建設角度出發(fā)，嘗試理解支付寶技術(shù)架構演進(jìn)中的一些關(guān)鍵技術(shù)和思路。
由點(diǎn)到面，應對多平臺、多場(chǎng)景、多峰值
為了應對新形勢下的雙十一，今年 3 月份開(kāi)始，支付寶團隊啟動(dòng)了「川流計劃」，取川流不息之意，喻支付體驗順暢，將沉淀了多年的電商服務(wù)能力原子化，形成了一套面向全行業(yè)的產(chǎn)品解決方案，目標是隨時(shí)隨地、快速支撐任何一家商戶(hù)的大促。
技術(shù)團隊重點(diǎn)聚焦大促服務(wù)的常態(tài)化能力構建，以業(yè)務(wù)和需求為導向，確保做到穩定如常、體驗如常、成本如常、效率如常。

今年以淘寶/天貓為首的各商家將大促時(shí)間提前到了 11 號的晚 8 點(diǎn)，與線(xiàn)下購物的高峰期重合，再加上其他常規業(yè)務(wù)，需要確保不同業(yè)務(wù)之間有充分的隔離性，能夠同時(shí)達到穩定的狀態(tài)。支付寶團隊通過(guò)自適應泄洪、多商戶(hù)動(dòng)態(tài)異步化技術(shù)，在更加隨機化的大促場(chǎng)景下持續保持支付的可用性及高性能，同時(shí)通過(guò)分時(shí)復用，在線(xiàn)離線(xiàn)混合部署，無(wú)感化彈云等技術(shù)，大幅提升效率和降低成本。
盡管用戶(hù)側感知不強，往年雙十一為保證峰值平穩會(huì )做部分不緊急任務(wù)降級、暫緩處理，例如無(wú)法查詢(xún)花唄賬單等，今年通過(guò)讀時(shí)提交等新的技術(shù)，保障退款、提現等業(yè)務(wù)服務(wù)不受損，交易收單功能也做了升級，讓消費者在訂金、現貨、尾款等各階段都具備相同的支付能力。
其中，為了滿(mǎn)足如今商家在直播時(shí)代的秒殺訴求，團隊重點(diǎn)構建了秒級高可用技術(shù)，動(dòng)態(tài)維持秒殺性能，將支持秒殺的能力提升了一個(gè)量級，包括通過(guò)近端計數和異常感知，自動(dòng)降級弱依賴(lài)業(yè)務(wù)，進(jìn)一步提高并發(fā)，構建無(wú)感化彈云等創(chuàng )新技術(shù)，實(shí)現更快的容量伸縮，從而確保每個(gè)商家都能在自己的平臺發(fā)起秒殺活動(dòng)。
雙十一流量洪峰和隨之而來(lái)的峰值時(shí)刻高并發(fā)的處理效果，向來(lái)是雙十一技術(shù)保障工作的一大看點(diǎn)。但不同于過(guò)往雙十一的流量洪峰，秒殺服務(wù)本質(zhì)上是一種營(yíng)銷(xiāo)服務(wù)，如果把這個(gè)秒級交易分攤到日常，對服務(wù)器成本的要求其實(shí)并不高。但隨著(zhù)直播秒殺成為一種常規化的營(yíng)銷(xiāo)手段，為了滿(mǎn)足眾多商家在較長(cháng)的促銷(xiāo)周期內隨機性發(fā)起的千千萬(wàn)萬(wàn)的秒級峰值，需要有大量的機器成本的投入。

「這也是今年我們的底氣，能夠保障那么多商家在雙十一期間的秒殺?！怪Ц秾毊a(chǎn)品技術(shù)負責人善攻說(shuō)，「從 0 點(diǎn)到 8 點(diǎn)，用戶(hù)不用再熬夜了，對支付寶來(lái)說(shuō)，面臨的情況就是各個(gè)平臺不同模式和玩法的峰值疊加，再碰到線(xiàn)下支付的高峰。我們并沒(méi)有把成本轉嫁到客戶(hù)身上，而是通過(guò)技術(shù)迭代、資源協(xié)調等來(lái)實(shí)現更智能、更綠色、更高效的服務(wù)。我們也認為，只有具備普適性才可以對全社會(huì )提供可持續的服務(wù)?！?/span>
支付寶高并發(fā)、高性能、高可用架構演進(jìn)
這些年來(lái)，隨著(zhù)業(yè)務(wù)特點(diǎn)和規模的發(fā)展變化，尤其在歷屆雙十一的極端需求倒逼之下，例如從應對 0 點(diǎn)的單一流量洪峰到滿(mǎn)足多平臺支付需求和效率，支付寶完成了數次大的架構演進(jìn)，逐漸形成了一套包括金融級分布式交易、分布式大數據分析與決策、智能化風(fēng)險防控等在內的完整架構與技術(shù)體系。
第一階段：轉型分布式 SOA 架構，成為互聯(lián)網(wǎng)電商支付工具
支付寶最初服務(wù)于淘寶網(wǎng)，用擔保交易和支付這一項功能打開(kāi)了用戶(hù)網(wǎng)購的習慣，從 2005 年起開(kāi)始服務(wù)整個(gè)互聯(lián)網(wǎng)的電商支付。在這個(gè)階段，其應用架構開(kāi)始向分布式 SOA 架構轉型，對交易、支付、賬務(wù)、收銀臺等核心系統做服務(wù)化改造。
為解決引入分布式體系而帶來(lái)的業(yè)務(wù)和系統復雜性等問(wèn)題，團隊重點(diǎn)聚焦實(shí)現集群的一致性，主要包括確保分布式數據一致性和在分布式環(huán)境下進(jìn)行系統監控的問(wèn)題。對此，支付寶基于兩階段事務(wù)原理自研了相應的分布式事務(wù)框架和微服務(wù)框架，同時(shí)構建了第一代監控系統，擺脫了黑屏命令行監控，從穩定的分布式事務(wù)體系應用架構和系統化的監控報警平臺，奠定了后續高可用架構的基礎。
第二階段：去 IOE，解決存儲單點(diǎn)擴展和穩定性問(wèn)題，流量從百萬(wàn)到千萬(wàn)
隨著(zhù)支付寶從單一支付工具逐漸成為一個(gè)互聯(lián)網(wǎng)金融平臺，系統支撐的流量激增，使用大量服務(wù)器支撐雙十一流量洪峰構成了巨大的成本壓力，以及其他很多不確定性因素。2011 年開(kāi)啟去 IOE 戰略（不再使用 IBM 小型機、Oracle 數據庫、EMC 高端存儲，轉向自主掌控的技術(shù)）。在此背景下，團隊從應對大流量帶來(lái)的高并發(fā)和穩定性風(fēng)險角度出發(fā)，解決核心系統級別的穩定性和可擴展性問(wèn)題，奠定了這一代高可用架構的基石。
第三階段：異地多活架構，流量彈性伸縮
金融級產(chǎn)品對穩定性有極高的要求，需要加速實(shí)現金融級異地多活的高可用架構。作為螞蟻代表性技術(shù)的邏輯單元 LDC（Logical Data Center）在這一階段被提出，相對于傳統的 IDC（Internet Data Center-IDC），確保分布式系統在邏輯上的協(xié)調與統一。與 OceanBase 數據庫相結合，支付寶團隊實(shí)現了兩地三中心和三地五中心的城市級異地多活高可用架構，主要解決機房擴展性、數據容災，以及大促期間機房快速彈性問(wèn)題。
也是從這一時(shí)期開(kāi)始，雙十一的峰值和日常業(yè)務(wù)峰值差別越來(lái)越大，因此基于 LDC 架構靈活的流量調度能力，實(shí)現了機房級別彈性擴展能力，在大促前將流量彈回到新的機房，在大促結束后快速回收該機房。2016 年的雙十一，支付寶全天完成交易筆數為 10.5 億筆，支付峰值 12 萬(wàn)筆/秒，大促中 50% 流量基于云計算資源彈性伸縮。
第四階段：原生混合云部署，提供全球性的互聯(lián)網(wǎng)金融服務(wù)
隨著(zhù)螞蟻集團對云原生理念的投入，堅信未來(lái)的金融級應用場(chǎng)景都會(huì )往極致的彈性和混合云方向發(fā)展，2017 年開(kāi)始云原生架構啟動(dòng)實(shí)施，螞蟻全站應用上云，支付寶開(kāi)始嘗試離在線(xiàn)混部和分時(shí)調度技術(shù)，在大促時(shí)利用離線(xiàn)技術(shù)所使用的集群資源，大大提升了集群資源利用率。
向云原生轉型的過(guò)程中，不同場(chǎng)景的應用很難一步到位，為了滿(mǎn)足不同的業(yè)務(wù)需求，在云原生的改造中，新老業(yè)務(wù)并存過(guò)渡，通過(guò)統一的研發(fā)平臺，同時(shí)支持基于虛擬機和容器的雙模持續交付，助力于整個(gè)架構的穩妥的演進(jìn)和遷移?？紤]到商家服務(wù)全面開(kāi)放、大促活動(dòng)常態(tài)化，生活服務(wù)、保險、理財、公益等各項業(yè)務(wù)的發(fā)展和形態(tài)趨于多樣化，支付寶團隊意識到需要把高可用做成一項常規能力，并且從風(fēng)險視角構建一套架構體系從根源上確保穩定性。
針對外部環(huán)境的劇烈變化（如活動(dòng)帶來(lái)的流量突增、機房故障等）、內部節點(diǎn)異常（如數據庫宕機，服務(wù)器宕機等）和人為變更的風(fēng)險（如代碼發(fā)布，配置推送等）這三類(lèi)主要風(fēng)險，支付寶建設了如變更防控體系、容量風(fēng)險體系、應急定位體系等風(fēng)險防控體系，實(shí)現系統化的三板斧（可監控、可灰度、可回滾）要求，并引入數據智能化手段進(jìn)行精細的風(fēng)險識別，構建仿真環(huán)境以模擬故障及驗證問(wèn)題。

從業(yè)務(wù)中來(lái)，到業(yè)務(wù)中去從容應對多峰高并發(fā)
從最初淘寶平臺上的一種擔保交易和支付功能，到如今提供支付、生活服務(wù)、政務(wù)服務(wù)、理財、保險等眾多能力的數字生活開(kāi)放平臺，支付寶在沒(méi)有先例可循的情況下，構建起一個(gè)中國乃至世界范圍內互聯(lián)網(wǎng)三高（高并發(fā)、高性能、高可用）架構的代表。
2017 年，支付寶處理支付峰值 25.6 萬(wàn)筆/秒，已經(jīng)成為全球最大的一家 OLTP 處理實(shí)體，但同時(shí)卻繼承了互聯(lián)網(wǎng)公司特有的超大規模用戶(hù)量（截止 2020 年，支付寶在全球擁有超過(guò) 12 億用戶(hù)），支付寶的技術(shù)架構發(fā)展歷程，也可以說(shuō)一個(gè)持續不斷地在性能與成本、業(yè)務(wù)需求與用戶(hù)體驗之間取舍平衡的三高架構演進(jìn)史。
脫離實(shí)際業(yè)務(wù)需求的技術(shù)往往于業(yè)務(wù)產(chǎn)生不了最大實(shí)用性?xún)r(jià)值，只有在服務(wù)業(yè)務(wù)、保障業(yè)務(wù)持續可用過(guò)程中沉淀下來(lái)的技術(shù)，才是最有價(jià)值的技術(shù)。正是因為一次次雙十一的倒逼創(chuàng )新，支付寶的實(shí)踐證明在金融級中間件、數據庫和云計算平臺的支持下，分布式架構完全能夠勝任復雜、高要求的金融級交易。
在如今這個(gè)時(shí)代，一家公司要走得更遠，只有提供更好的服務(wù)，滿(mǎn)足用戶(hù)更加苛刻的需求。構建常態(tài)化的雙十一技術(shù)服務(wù)能力只是開(kāi)始，隨著(zhù)業(yè)務(wù)發(fā)展和服務(wù)類(lèi)型變得更加復雜多樣，多峰高并發(fā)將不僅僅是支付寶的日常。在萬(wàn)物互聯(lián)的智能時(shí)代，什么樣的技術(shù)和架構可以應對無(wú)處不在的計算，將不僅僅是支付寶團隊需要解決的重大命題。