瘋狂馬斯克的“極限”計劃居然成功了？！“下云”后成本降低 60%，部分功能代碼精簡(jiǎn) 90%，30 天急速遷移服務(wù)器

2022 年 10 月 27 日，經(jīng)歷了長(cháng)達半年的拉鋸戰之后，馬斯克終于將 Twitter（現已更名 X）收歸囊中，這筆 440 億美元的收購案也終于迎來(lái)了大結局。入主 Twitter 后，馬斯克進(jìn)行了大刀闊斧的改革，如今一年過(guò)去了，Twitter 發(fā)生了哪些變化？

2023 年 10 月 27 日，X 工程技術(shù)發(fā)布帖子稱(chēng)，過(guò)去一年是 X（Twitter）平臺全面推進(jìn)工程技術(shù)探索的一年。除了大家在 X 應用端看到的直觀(guān)調整之外，團隊還在幕后完成了以下一系列重要改進(jìn)。其中包括：

• 關(guān)閉薩克拉門(mén)托數據中心，并重新配置了 5200 臺機架和 14.8 萬(wàn)臺服務(wù)器，每年節約超 1 億美元。共釋放出 48 兆瓦的功率配額、拆除重達 6 萬(wàn)磅的網(wǎng)絡(luò )梯架，必要設備后續將被重新配置至其他數據中心。

• 優(yōu)化了 X 的云服務(wù)使用方式，著(zhù)手將更多工作負載遷往本地基礎設施。這一轉變使 X 每月的云成本降低了 60%。所有媒體 /blob 工作均已下云，這讓 X 的整體云數據存儲量縮減了 60%，還成功將云數據處理成本降低了 75%。

此外，X 還發(fā)生了以下變化：

• 圍繞單一產(chǎn)品框架整合了 For you（為您推薦）、Following（關(guān)注）、Search（搜索）、Profiles（個(gè)人資料）、Lists（列表）、Communities（社區）和 Explore（探索）等技術(shù)棧。

• 從頭開(kāi)始全面重建了 For you 服務(wù)與排名系統，代碼行數從 700K 縮減至 70K，精簡(jiǎn)比例高達 90%，計算占用量降低 50%，根據請求得分計算的帖子吞吐量增長(cháng)了 80%。

• 統一了 For you 和視頻個(gè)性化及排名模型，顯著(zhù)提高了視頻推薦的質(zhì)量。

• 重構了技術(shù)棧內的 API 中間件層，通過(guò)刪除超 10 萬(wàn)行代碼和數千個(gè)未實(shí)際使用的內部端點(diǎn)、清理未采用的客戶(hù)端服務(wù)等方式完成了架構簡(jiǎn)化。

• 精簡(jiǎn)后的元數據獲取延遲降低了 50%，全局 API 超時(shí)錯誤減少了 90%。

• 阻斷 bot 和內容抓取的速度較 2022 年提高了 37%。平均而言，X 每天阻斷超 100 萬(wàn)次 bot 注冊攻擊，并將直接垃圾郵件減少了 95%。

• 構建本地 GPU 超級計算集群，并設計、開(kāi)發(fā)和交付了 43.2 Tbps 的新網(wǎng)絡(luò )體系架構以支持這些集群。

• 擴展網(wǎng)絡(luò )主干容量與冗余，每年節約 1390 萬(wàn)美元。

• 開(kāi)始進(jìn)行自動(dòng)峰值流量故障轉移測試，用以持續驗證整個(gè)平臺的可擴展性與可用性。

自接手 X 以來(lái)，馬斯克為了縮減成本挖空心思，其中包括裁員、推行“極端硬核”企業(yè)文化、拖欠辦公室租金……在公司的運營(yíng)開(kāi)支方面，馬斯克去年剛接手 X 時(shí)便指示團隊通過(guò)削減云服務(wù)和額外的服務(wù)器空間，力爭每天在基礎設施上節省 300 萬(wàn)美元。

2020 年 12 月，Twitter 宣布將使用亞馬遜云科技為其主時(shí)間線(xiàn)提供支持。當時(shí)的消息稱(chēng)這將是一份“多年期”協(xié)議，但沒(méi)有透露任何具體數字。彼時(shí) Twittr 公司 CTO Parwal Agrawal 在一份聲明中表示，Twitter 和亞馬遜云科技將合作擴展該社交媒體的基礎設施、加快功能發(fā)布速度，并擴大其功能組合。

據 The Information 2023 年 3 月報道，這筆交易為期五年半，合同總值 5.1 億美元。根據報道，無(wú)論是否使用相應容量，Twitter 都同意向亞馬遜云科技付費。而且亞馬遜云科技不愿就具體條款進(jìn)行重新談判。根據交易細則，Twitter 的月度亞馬遜云科技支出大約在 773 萬(wàn)美元。

如今，Twitter 已經(jīng)不再使用亞馬遜云科技的實(shí)時(shí)時(shí)間線(xiàn)功能，轉而選擇了 AWS for Spaces 等其他服務(wù)。Twitter 后續可能使用 Google Cloud Platform（GCP）運行其時(shí)間線(xiàn)業(yè)務(wù)。根據 Twitter 與亞馬遜云科技之間簽訂的合同細節，馬斯克執掌的社交媒體巨頭還計劃使用：

• 亞馬遜云科技云基礎設施，用于補充 Twitter 的本地功能，幫助該公司在全球范圍內擴展其實(shí)時(shí)服務(wù)。

• 采用 Amazon Elastic Compute Cloud (Amazon EC2) 服務(wù)中基于 Arm 架構的亞馬遜云科技 Graviton 2 實(shí)例，以運行其云工作負載。

• 借助亞馬遜云科技容器服務(wù)，Twitter 將在其混合基礎設施當中統一構建并交付新的功能和服務(wù)。

• Amazon CloudFront，即亞馬遜云科技的超高速內容交付網(wǎng)絡(luò )（CDN）服務(wù)，能夠以低延遲、高速率向全球客戶(hù)分發(fā)數據、應用程序、視頻和 API。

• Amazon DynamoDB，即亞馬遜云科技的鍵值數據庫，可大規模提供個(gè)位數毫秒級性能。

目前，Twitter 已經(jīng)與谷歌簽訂了一份價(jià)值 10 億美元的合同，且相關(guān)承諾早在與亞馬遜云科技合作之前就已敲定。另?yè)蟮?，Twitter 將在 2023 年向谷歌支付總計 3 億美元，這也是總價(jià)值約 10 億美元的多年期合作協(xié)議的一部分。

隨著(zhù)馬斯克入主 Twitter 并開(kāi)啟削減成本計劃，Twitter 的基礎設施支出大幅減少。根據題為“深度削減成本”的 Slack 內部消息，Twitter 計劃從云服務(wù)和服務(wù)器容量方面入手，省下 150 萬(wàn)到 300 萬(wàn)美元。此外，Twitter 還試圖與亞馬遜云科技、Google Cloud 以及甲骨文就合同內容展開(kāi)重新談判，但供應商們紛紛表示拒絕。

根據最新公告，馬斯克通過(guò)將工作從云端轉移到 Twitter 自己的服務(wù)器上，每月的云成本降低了 60%，整體云數據存儲量縮減了 60%，還成功將云數據處理成本降低了 75%。

近年來(lái)，為了節省成本，不少公司開(kāi)始下云。不過(guò)，并非所有公司都適合下云，需要結合自身實(shí)際業(yè)務(wù)情況來(lái)做判斷。比如，GitLab 在 2016 年底時(shí)候就表示計劃要“下云”，不過(guò)團隊“在收到數百條充滿(mǎn)建議和警告的評論和郵件后，最后還是決定將 GitLab.com 保留在云端。

此外，37signals 旗下一款流行的基于云服務(wù)的項目管理軟件 Basecamp 也曾想“下云”。Basecamp 的上云歷程已經(jīng)超過(guò)十年，而且其前兩年發(fā)布的產(chǎn)品 HEY 也一直在云端運行。但 Basecamp & HEY 聯(lián)合創(chuàng )始人 David Heinemeier Hansson 發(fā)文表示將要“下云”。

“我們用過(guò)亞馬遜云科技、也用過(guò)谷歌云，試過(guò)裸虛擬機、也體驗了 Kubernetes 容器編排。我們知道云能提供哪些功能，其中大部分都有實(shí)際應用?，F在我們終于得出結論：對于像我們這樣一家增長(cháng)穩定的中型企業(yè)來(lái)說(shuō)，租賃基礎設施資源總體上看是筆糟糕的買(mǎi)賣(mài)。云服務(wù)商做出的降低復雜性、控制運營(yíng)成本等承諾從來(lái)就沒(méi)能實(shí)現，所以我們正在籌劃脫離云端、重歸本地?！?/p>

不過(guò)，在 David Heinemeier Hansson 撰寫(xiě)的關(guān)于離開(kāi)云計算的思考中，他特別提到了兩個(gè)情況是不能離開(kāi)云計算的。一種是流量極低，一種是復雜不均衡：

• 第一個(gè)極端是當您的應用程序非常簡(jiǎn)單且流量很低，通過(guò)使用完全托管的服務(wù)來(lái)降低復雜性確實(shí)能夠節省成本。這是 Heroku 鋪就的道路，也是 Render 等其他服務(wù)商所追隨的道路。當您沒(méi)有客戶(hù)時(shí)，這是一個(gè)絕佳的起點(diǎn)，即使在您開(kāi)始擁有一些客戶(hù)后，它仍能推動(dòng)您的業(yè)務(wù)發(fā)展。（然后，一旦使用量激增，賬單飆升到天際線(xiàn)上時(shí)，您可能會(huì )面臨一個(gè)好問(wèn)題，但這是一個(gè)合理的權衡。）

• 第二個(gè)極端是當您的負載非常不規則時(shí)。當您的使用量出現劇烈波動(dòng)或巨大峰值時(shí)。當基線(xiàn)只是您最大需求的一小部分時(shí)?；蛘弋斈恢滥枰_服務(wù)器還是一百臺時(shí)。在這種情況下，沒(méi)有什么比云端更好了，就像我們在推出 HEY 時(shí)學(xué)到的那樣，突然有 30 萬(wàn)用戶(hù)在三周內注冊嘗試我們的服務(wù)，而我們的預測是六個(gè)月內有 3 萬(wàn)用戶(hù)。

為了節省成本，去年 12 月，馬斯克還關(guān)閉 Twitter 加州數據中心。

據悉，在平安夜前夕，納斯克飛往加利福尼亞州的薩克拉門(mén)托——Twitter 三大主要計算存儲設施之一的所在地——切斷了維持該社交網(wǎng)絡(luò )平穩運行的服務(wù)器。有知情人士表示，雖然有員工擔心關(guān)閉這些服務(wù)器可能導致各種問(wèn)題，但節省資金是首要任務(wù)。

隨后，世界各地的用戶(hù)報告 Twitter 服務(wù)中斷。一些用戶(hù)反饋 Twitter 出現很多奇怪的錯誤消息，比如看到空白頁(yè)面、無(wú)法回復推文或關(guān)注熱門(mén)話(huà)題，還有人被迫退出登陸。有熟悉 Twitter 基礎設施的人士表示，如果薩克拉門(mén)托的設施仍在運行，它就可以在其他數據中心出現故障時(shí)提供備份計算能力，從而幫助緩解問(wèn)題。

此外有消息稱(chēng)，當時(shí)馬斯克為了省錢(qián)，計劃將薩克拉門(mén)托的服務(wù)器搬到波特蘭，基礎設施團隊稱(chēng)這項工作至少要九個(gè)月才能完成，馬斯克一怒之下直接搭乘私人飛機跑去機房，拔了網(wǎng)路線(xiàn)與電源就搬上大卡車(chē)開(kāi)始轉移，最后整個(gè)工作一個(gè)月就完成了。

在今年 9 月出版的《埃隆·馬斯克傳》中，詳細講述了馬斯克親自遷移服務(wù)器的故事（節選，經(jīng)編輯）：

2022 年 12 月 22 日深夜，位于 X 公司 10 樓的會(huì )議室，馬斯克正在與兩名基礎設施經(jīng)理進(jìn)行緊張的交談。

位于薩克拉門(mén)托的一家數據服務(wù)公司允許 X 公司延長(cháng)其服務(wù)器租約，以便在 2023 年有序遷出。一名顯得有些緊張的基礎設施經(jīng)理告訴馬斯克：“今天早上，他們回來(lái)告訴我們說(shuō)這個(gè)計劃不再適用，因為他們認為我們在財務(wù)上不再穩健?！?br />

這個(gè)設施每年花費 X 公司超過(guò) 1 億美元。馬斯克想通過(guò)將服務(wù)器遷移到 X 公司在俄勒岡州波特蘭的其他設施來(lái)節省這筆費用。另一位經(jīng)理表示這項工作不能立即進(jìn)行。她平靜地說(shuō)：“我們至少需要六到九個(gè)月的時(shí)間，因為薩克拉門(mén)托仍然需要服務(wù)流量?！?/p>

馬斯克沉默了幾秒鐘，然后宣布：“你們有 90 天時(shí)間來(lái)完成這項任務(wù)。如果你們做不到，你們可以辭職?！边@名經(jīng)理開(kāi)始詳細解釋遷移服務(wù)器到波特蘭的障礙?！皺C架密度不同，電力密度也不同，”她說(shuō)?！八詸C房需要進(jìn)行升級?！彼_(kāi)始詳細介紹更多原因，但被馬斯克打斷?！斑@讓我的大腦感到壓抑，”馬斯克說(shuō)道，“你知道頭爆炸的表情符號嗎我的腦袋現在就是這個(gè)感覺(jué)。真是一堆屁話(huà)。波特蘭明顯有大量的空間，從一個(gè)地方遷移到另一個(gè)地方簡(jiǎn)直小菜一碟?！?/p>

“你們需要做的就是將服務(wù)器遷移到波特蘭，”馬斯克說(shuō)道，“如果超過(guò) 30 天，我會(huì )很震驚?！彼ｎD了一下，重新計算?！罢乙患野峒夜?，運輸電腦需要一個(gè)星期，然后再花一個(gè)星期來(lái)連接它們。兩周。就應該這樣?！?/p>

所有人都默不作聲。但馬斯克仍在發(fā)火?！叭绻銈冏饬艘粋€(gè) U-Haul （一家租車(chē)公司），你們可能自己就能完成?！眱晌?X 公司的經(jīng)理看著(zhù)他，試圖判斷他是否是認真的。馬斯克的兩位親密助手 Steve Davis 和 Omead Afshar 也在場(chǎng)。他們多次看到過(guò)他這樣，知道他可能真的這么認為。

12 月 23 日星期五晚上，James 和他的弟弟 Andrew（馬斯克的表弟）與馬斯克一起從舊金山飛往奧斯汀，當飛機飛過(guò)拉斯維加斯時(shí)，James 提出了一個(gè)建議，他們現在就可以移動(dòng)服務(wù)器。一個(gè)名為 Alex 的來(lái)自烏茲別克斯坦的 X 員工幫助他們進(jìn)入了 X 公司的數據中心，內部共有大約 5200 個(gè)冰箱大小的機架，每個(gè)機架有 30 臺電腦。每個(gè)機架重約 2500 磅，高 8 英尺。但馬斯克認為“這些東西看起來(lái)并不難移動(dòng)”，他向保安借了一把小刀，抬起地板上的一個(gè)通風(fēng)口，這讓他可以撬開(kāi)地板面板。然后他爬到服務(wù)器下面，用小刀撬開(kāi)了一個(gè)電箱，拔掉了服務(wù)器插頭，等著(zhù)看會(huì )發(fā)生什么。沒(méi)什么異常發(fā)生。服務(wù)器已經(jīng)準備好遷移。

第二天——圣誕前夜，馬斯克召集了增援。Ross Nordeen，與他的朋友 James 在 Tesla 工作，從舊金山驅車(chē)而來(lái)。他在聯(lián)合廣場(chǎng)的 Apple Store 花了 2000 美元，買(mǎi)下了所有的 AirTags，這樣服務(wù)器在遷移過(guò)程中就可以被跟蹤。然后他去了家得寶，花了 2500 美元買(mǎi)了扳手、斷線(xiàn)鉗、頭燈和擰下地震螺栓所需的工具。

Steve Davis，馬斯克的忠誠副手，找人租了一輛半掛車(chē)，并安排了搬家車(chē)。其他來(lái)自 SpaceX 的援助隊員也已到達。這些服務(wù)器機架都有輪子，所以團隊能夠斷開(kāi)其中四個(gè)并將它們推到待命的卡車(chē)上。這表明，這五千兩百多個(gè)服務(wù)器可能在幾天內全部移動(dòng)?！盎镉媯兏傻煤?！”馬斯克興高采烈地說(shuō)。

到這周結束時(shí)，他們已經(jīng)使用了薩克拉門(mén)托所有可用的卡車(chē)。盡管該地區受到了雨的襲擊，他們在三天內移動(dòng)了 700 多個(gè)機架。該設施之前的記錄是一個(gè)月移動(dòng) 30 臺。這仍然留下了大量的服務(wù)器在設施中，但這群人已經(jīng)證明了它們可以被快速移動(dòng)。其余的部分在 1 月份由 X 公司的基礎設施團隊處理。

馬斯克的瘋狂舉動(dòng)引發(fā)了不少爭議。網(wǎng)友海狗油 90 認為，“幾乎沒(méi)有人明白數據中心搬遷要搬的是服務(wù)、數據，而不是服務(wù)器本身，也不明白 X 這樣的公司，服務(wù)連續性、數據一致性值多少錢(qián)?！?/p>

網(wǎng)友酷憋哥評論稱(chēng)：“除了證明馬斯克膽子大，這個(gè)案例沒(méi)有什么正面的意義，試想一下，哪個(gè)普通打工人可以做出這么魯莽的決定？他或她是否能承擔由這種行為導致的嚴重后果？所以最終只有老板能做這種事情，只要他愿意?！?/p>

來(lái)源：AI前線(xiàn)