亞馬遜年終王炸！兩大自研AI芯片性能飆升，推AI助手硬杠微軟，聯(lián)手老黃造最強超算

AWS最強自研訓練芯片炸場(chǎng)，還有新一代服務(wù)器CPU。

作者 |  芯東西編輯部
芯東西11月28日美國拉斯維加斯報道，北京時(shí)間11月29日凌晨，全球第一大公有云巨頭AWS（亞馬遜云科技）扔出了其生成式AI年終“王炸”。搖滾樂(lè )開(kāi)場(chǎng)，AWS的CEO亞當·塞利普斯基（Adam Selipsky）在一陣掌聲中登上re:Invent舞臺。

距離微軟和OpenAI聯(lián)盟的GPT-4新品“轟炸”過(guò)去還不到一個(gè)月，AWS緊接著(zhù)放出了新的大招，從芯片、大模型平臺、AI應用、生態(tài)合作等多個(gè)方面秀出“肌肉”：1、推出第四代自研服務(wù)器CPU芯片AWS Graviton4，相比三代處理速度快30%，能將處理大型Java應用的速度提升45%。2、推出為生成式AI和機器學(xué)習訓練設計的云端AI芯片AWS Trainium2，性能比上一代芯片提高到4倍，可提供65ExaFlops超算性能。3、英偉達創(chuàng )始人兼CEO黃仁勛到場(chǎng)，宣布英偉達與AWS達成戰略合作，針對生成式AI推出全新超級計算基礎設施、軟件及服務(wù)。4、推出生成式AI助手Amazon Q，支持聊天、生成內容、編程、插件及定制開(kāi)發(fā)，硬杠微軟Copilot。

▲現場(chǎng)展區展出了Amazon Q免費體驗的申請二維碼入口

5、數據分析平臺Amazon QuickSight、呼叫中心服務(wù)Amazon Connect等應用接入Amazon Q，具備生成式AI能力。6、Amazon Bedrock大模型平臺三大升級：支持微調、知識庫RAG（檢索增強生成）和持續預訓練，全面推出Amazon Bedrock Agent、安全產(chǎn)品Guardrails for Amazon Bedrock預覽版。7、S3對象存儲服務(wù)更新，推出新的高性能、低延遲層S3存儲類(lèi)別Amazon S3 Express One Zone，比Amazon S3標準版快10倍，計算成本降低60%。8、推出4項Zero-ETL（提取、轉換、加載）集成功能，使跨數據存儲的數據訪(fǎng)問(wèn)和分析更快、更容易。9、推出由生成式AI驅動(dòng)的Amazon DataZone智能推薦功能，可生成數據資產(chǎn)及其模式的詳細說(shuō)明。10、擴大與OpenAI競爭對手Anthropic的合作，Claude大模型的早期訪(fǎng)問(wèn)、自動(dòng)定制和微調功能優(yōu)先提供給AWS客戶(hù)。11、全球最大藥企輝瑞擴大與AWS的合作關(guān)系，輝瑞利用生成式AI每年減少了7.5億至10億美元的成本。今年4月，AWS推出了覆蓋IaaS（基礎設施即服務(wù)）、PaaS（平臺即服務(wù)）、SaaS（軟件即服務(wù)）的生成式AI“全家桶”，空降全球AI大模型競賽戰場(chǎng)。（《亞馬遜AIGC全家桶推出！迎戰微軟谷歌，云巨頭們殺瘋了》）彼時(shí)，微軟正憑借接入GPT-4的升級產(chǎn)品族風(fēng)頭正盛。AWS則扔出大模型開(kāi)發(fā)平臺Amazon Bedrock、計算實(shí)例EC2 Trn1n實(shí)例和EC2 Inf2及AI編程伴侶CodeWhisperer等產(chǎn)品，亮出亞馬遜殺入生成式AI的第一槍。今天，AWS全面披露了亞馬遜生成式AI技術(shù)堆棧：底層基礎架構層+中間基礎模型構建工具層+上層基礎模型AI應用層，版圖逐漸完整。

01.新一代服務(wù)器CPU、AI訓練芯片來(lái)了！
支持數萬(wàn)億參數大模型訓練

會(huì )上，AWS CEO塞利普斯基宣布推出第四代自研服務(wù)器CPU芯片AWS Graviton4、為生成式AI和機器學(xué)習訓練設計的云端AI芯片AWS Trainium2。此前已有超過(guò)5萬(wàn)個(gè)客戶(hù)使用Graviton。最新推出的Graviton4是AWS迄今最高能效的自研數據中心處理器，基于A(yíng)rm架構，相比Graviton3，處理速度快30%，內核增加50%，內存帶寬增加了75%，能將數據庫應用提速40%，將處理大型Java應用的速度提升45%。AWS客戶(hù)現可開(kāi)始測試該處理器，由Graviton4支持的R8g實(shí)例已推出預覽版。

Trainium2芯片為擁有數千億甚至數萬(wàn)億個(gè)參數的基礎模型訓練做了優(yōu)化，性能比上一代芯片提高到4倍，內存容量提高到3倍，能效提高到2倍。OpenAI的競爭對手、明星生成式AI獨角獸Anthropic計劃用Trainium2芯片構建模型。

Trainium2將在A(yíng)mazon EC2 Trn2實(shí)例中提供，單個(gè)實(shí)例中包含16個(gè)Trainium芯片，Trn2實(shí)例可幫助在下一代EC2 UltraCluster中擴展到多達10萬(wàn)個(gè)Trainium2芯片，通過(guò)搭配AWS Elastic Fabric Adapter (EFA) 網(wǎng)絡(luò )互連，提供65ExaFlops超算級性能。基于此，客戶(hù)只用幾周就能訓練出有3000億個(gè)參數的大模型。AWS Neuron SDK被用于優(yōu)化跑在A(yíng)WS自研訓練芯片Trainium和推理芯片Inferentia的機器學(xué)習任務(wù)，支持主流AI框架。

AWS與英偉達宣布擴大戰略合作。英偉達創(chuàng )始人兼CEO黃仁勛來(lái)到re:Invent大會(huì )現場(chǎng)，宣布AWS將支持英偉達最新推出的H200 GPU，并將托管一個(gè)特殊的計算集群供英偉達使用。

AWS是在云端配備英偉達GH200 Grace Hopper超級芯片的首家云大廠(chǎng)，雙方聯(lián)手推出首款結合Grace Hopper超級芯片與亞馬遜UltraCluster擴展功能的云AI超級計算機，以及首次在A(yíng)WS上提供首個(gè)配置GH200 NVL32的英偉達DGX Cloud AI訓練即服務(wù)（能加速訓練參數量超1萬(wàn)億的生成式AI與大模型）。英偉達與AWS合作構建的AI超級計算機Project Ceiba便部署在亞馬遜云科技上，配備GH200 NVL32與Amazon EFA互連技術(shù)，包括16384顆GH200超級芯片，能提供65ExaFlops AI算力。此外，AWS宣布其S3對象存儲服務(wù)推出重大更新：一種新的高性能、低延遲層S3存儲類(lèi)別Amazon S3 Express One Zone，旨在為延遲敏感的應用提供個(gè)位數、毫秒級的每秒數十萬(wàn)次數據訪(fǎng)問(wèn)。

Amazon S3 Express One Zone的數據訪(fǎng)問(wèn)速度比Amazon S3標準版快10倍，請求成本降低50%，計算成本降低60%。以上從計算到存儲新品的發(fā)布，主要是AWS的底層基礎架構層的能力更新，在其生成式AI技術(shù)堆棧中的位置如下圖所示。

02.Amazon Bedrock全家桶升級，
聯(lián)手OpenAI最強競對反擊微軟

今日，AWS對Amazon Bedrock生成式AI平臺完成了能力新升級。Amazon Bedrock平臺是亞馬遜4月推出、9月全面開(kāi)放的大模型開(kāi)發(fā)平臺，支持用戶(hù)調用來(lái)自亞馬遜自己的泰坦（Titan）模型，以及AI21 Labs、Anthropic、Stability AI等第三方的多樣化模型進(jìn)行調用和定制化開(kāi)發(fā)。

1、Amazon Bedrock推出三個(gè)客制化功能塞利普斯基宣布，托管服務(wù)Amazon Bedrock今天推出三個(gè)客制化自定義功能：微調（Fine-tuning）、知識庫的RAG（檢索增強生成）、持續預訓練。

通過(guò)微調，用戶(hù)可以提供私有的特定任務(wù)標注訓練數據集來(lái)提高模型的準確性，進(jìn)一步使基礎模型（FM）專(zhuān)業(yè)化。Amazon Bedrock現在支持對Meta Llama 2、Cohere Command Light和Amazon Titan模型進(jìn)行微調。

Amazon Bedrock知識庫于今年9月推出預覽版，今日起全面開(kāi)放。通過(guò)知識庫，用戶(hù)可以安全地將Amazon Bedrock中的基礎模型與公司的數據連接起來(lái)，并進(jìn)行檢索增強生成，訪(fǎng)問(wèn)附加數據以生成更相關(guān)、更具體和更準確的響應，而無(wú)需不斷重新訓練基礎模型。此外，從知識庫中檢索到的所有信息都會(huì )注明來(lái)源，以提高透明度并減少幻覺(jué)。

持續預訓練可用于A(yíng)mazon Titan Text模型的公開(kāi)預覽版，包括Titan Text Express和Titan Text Lite。預訓練完成后，用戶(hù)可以收到唯一的模型ID，定制模型將由Amazon Bedrock再次存儲。

2、全面推出Agents for Amazon BedrockAWS曾在今年7月推出Agents for Amazon Bedrock預覽版，今天，塞利普斯基宣布其全面上市。

借助Agents for Amazon Bedrock，用戶(hù)可以通過(guò)簡(jiǎn)單的幾個(gè)步驟創(chuàng )建和部署完全托管式的Agent，通過(guò)動(dòng)態(tài)調用API來(lái)執行復雜的業(yè)務(wù)任務(wù)。Amazon Bedrock可以根據用戶(hù)提供的自然語(yǔ)言指令，如“你是專(zhuān)門(mén)處理未結理賠的保險代理人”，完成任務(wù)所需的API架構，并使用來(lái)自知識庫的私有數據來(lái)源詳細信息創(chuàng )建提示語(yǔ)。

Agents for Amazon Bedrock可將用戶(hù)請求的任務(wù)分解為較小的子任務(wù)，從而做出周密安排。例如，對于“向所有具有待處理文件的保單持有人發(fā)送提醒”，它會(huì )將任務(wù)分解成：獲取特定時(shí)間段的理賠，確定所需的文書(shū)工作，發(fā)送提醒。Agent會(huì )確定正確的任務(wù)順序，并處理中途出現的任何錯誤狀況。

3、推出Guardrails for Amazon Bedrock預覽版AWS推出Guardrails for Amazon Bedrock預覽版，根據應用程序需求和AI政策定制保障措施。Guardrails可以跨基礎模型，為所有應用程序提供一致的AI安全級別，阻止生成式AI應用程序中不需要的話(huà)題，根據AI政策過(guò)濾有害內容等。

據稱(chēng)，Amazon Bedrock平臺目前在全球各行業(yè)中已有超10000個(gè)客戶(hù)，包括阿迪達斯、納斯達克、雷克薩斯等眾多知名企業(yè)。

今日，AWS宣布擴大與OpenAI強力競對Anthropic的合作。Bedrock客戶(hù)將擁有其他云所沒(méi)有的Anthropic旗下Claude大模型的早期訪(fǎng)問(wèn)、自動(dòng)定制和微調功能的特供功能。Anthropic由前OpenAI工程師于2021年創(chuàng )立，于近期推出了其聊天機器人Claude的2.1版本，支持20萬(wàn)Tokens的超長(cháng)上下文。Anthropic的CEO兼聯(lián)合創(chuàng )始人達里奧·阿莫迪（Dario Amodei）親臨了現場(chǎng)，他談道，Anthropic和AWS之間合作由三個(gè)部分組成：計算、客戶(hù)支持和硬件優(yōu)化。他們的目標是為客戶(hù)提供定制模型、專(zhuān)有數據和獨特的微調功能，目前已基于A(yíng)WS的服務(wù)在生物醫學(xué)、法律和金融行業(yè)有成功落地案例。與Anthropic擴大合作無(wú)疑是AWS反擊微軟OpenAI聯(lián)盟的一記重拳。9月25日，亞馬遜與Anthropic宣布達成戰略合作，亞馬遜稱(chēng)將向Anthropic投資至多40億美元，并擁有該公司的少數股權。

全球最大藥企輝瑞的首席數字與技術(shù)官莉迪亞·豐塞卡（Lidia Fonseca）也來(lái)到現場(chǎng)，并宣布擴大與AWS的合作關(guān)系。豐塞卡稱(chēng)，輝瑞于2019年開(kāi)始，通過(guò)整合來(lái)自多個(gè)實(shí)驗室和儀器的數據來(lái)組織其數字基礎設施，其與AWS的合作始于新冠疫情時(shí)期，“如果沒(méi)有與AWS的密切關(guān)系，我們不可能實(shí)現如此巨大的影響力”。她談道，公司在42周內遷移了12000個(gè)應用程序和8000臺服務(wù)器，退出三個(gè)數據中心轉而上云，并減少了4700噸二氧化碳排放——相當于1000個(gè)家庭一年的能源使用量，這為輝瑞每年節省了4700萬(wàn)美元。

這使得輝瑞在生產(chǎn)中的云計算使用率從10%提升到80%，輝瑞還計劃在其癌癥生產(chǎn)線(xiàn)上繼續依賴(lài)云計算。此外，使用云服務(wù)后，輝瑞的生產(chǎn)效率也得到提升。豐塞卡稱(chēng)，其疫苗產(chǎn)量提高了20%，即每批次多生產(chǎn)約20000支疫苗，公司的疫苗年度產(chǎn)量從以往的2.2億支增加到2022年的40億支。豐塞卡還提到，利用生成式AI，輝瑞每年減少了7.5億至10億美元的成本。

03.硬剛微軟Copilot！AI助手Amazon Q亮相，三步完成定制

今日，AWS推出了一款新型生成式AI助手Amazon Q。它支持用戶(hù)輸入問(wèn)題，從而進(jìn)行聊天、生成內容及插件聯(lián)動(dòng)。

AWS的客戶(hù)可以選用Amazon Q服務(wù)，通過(guò)提問(wèn)的方式快速解答疑惑，有望節省大量的架構和故障排除時(shí)間，并優(yōu)化工作負載。

對于開(kāi)發(fā)者來(lái)說(shuō)，Amazon Q嵌入了AI編程助手CodeWhisperer，將利用其對AWS的深入了解和對代碼庫的理解，幫助開(kāi)發(fā)者提高開(kāi)發(fā)效率。用戶(hù)只需編寫(xiě)一個(gè)提示符，Amazon Q將會(huì )給出一個(gè)初版草案，然后用戶(hù)可以用自然語(yǔ)言對話(huà)進(jìn)行協(xié)作迭代。

這一功能目前在A(yíng)mazon Code Catalyst可用，且不久后將向全部客戶(hù)開(kāi)放。AWS稱(chēng)用戶(hù)目前還無(wú)法從其他云廠(chǎng)商那獲取這一能力。Amazon Q的使用步驟非常簡(jiǎn)單，大致分為三步：第一步，用戶(hù)可以通過(guò)連接結合自己的組織自定義Amazon Q，它目前支持Salesforce、微軟、谷歌、Slack等40多家公司的商業(yè)應用程序開(kāi)箱即用。

第二步，一旦連接，Amazon Q就會(huì )開(kāi)始索引用戶(hù)的所有數據和內容，學(xué)習有關(guān)業(yè)務(wù)的所有知識。

第三步，用戶(hù)幾乎不需要什么操作，只需在瀏覽器中打開(kāi)完全定制的Amazon Q。這一智能助手知道用戶(hù)身份角色，能針對詳細問(wèn)題給出量身定制的答案，并給出引用參考來(lái)源。

Amazon Q注重隱私和安全，其宣稱(chēng)不會(huì )在外部共享用戶(hù)數據，也不會(huì )使用它來(lái)改進(jìn)基礎模型。此外，Amazon Q還通過(guò)一組可配置的插件支持用戶(hù)采取行動(dòng)。

目前，亞馬遜旗下的數據分析平臺Amazon QuickSight已內置了Amazon Q。業(yè)務(wù)分析師稱(chēng)，通過(guò)簡(jiǎn)單地告知Amazon Q他們想要可視化內容，就可以創(chuàng )建儀表板和報告，耗時(shí)從幾小時(shí)縮短到了幾分鐘。QuickSight中的Amazon Q功能自今天起提供預覽版。亞馬遜的呼叫中心服務(wù)Amazon Connect也接入了Amazon Q。在傳統的聯(lián)絡(luò )中心，用戶(hù)往往會(huì )花費大量時(shí)間收集客戶(hù)信息以了解他們的問(wèn)題，然后花更多的時(shí)間尋找正確答案。但現在，Amazon Connect已通過(guò)機器學(xué)習、轉錄和分析使這變得更加容易，支持Agent在A(yíng)mazon Connect中與Amazon Q聊天，幫助他們快速響應客戶(hù)問(wèn)題。

亞馬遜稱(chēng)，這些應用是Amazon Q落地的一個(gè)開(kāi)始，亞馬遜生成式AI的技術(shù)堆棧全景圖如下所示。

04.數據庫推出4項Zero-ETL集成，
生成式AI自動(dòng)化組織數據

要實(shí)現以上所有的功能，背后的數據尤為關(guān)鍵。為此，AWS宣布推出4項Zero-ETL（提取、轉換、加載）集成功能：Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon RDS for MySQL與Amazon Redshift數據庫的集成，以及Amazon DynamoDB與Amazon OpenSearch服務(wù)的Zero-ETL集成。新的Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon RDS for MySQL功能與Amazon Redshift數據庫的集成使用戶(hù)可以更輕松地連接和分析來(lái)自Amazon Redshift中多個(gè)關(guān)系型或非關(guān)系型數據庫中的數據，以進(jìn)行綜合分析。

Amazon DynamoDB與Amazon OpenSearch服務(wù)的Zero-ETL集成可實(shí)現幾乎實(shí)時(shí)的全文和矢量搜索，從而獲得跨多個(gè)應用的整體洞察力，在提高運營(yíng)效率的同時(shí)降低成本。

AWS還宣布推出由生成式AI驅動(dòng)的Amazon DataZone智能推薦功能，旨在大幅減少為組織數據提供上下文所需的時(shí)間。

該功能由Amazon Bedrock的模型提供支持，可生成數據資產(chǎn)及其模式的詳細說(shuō)明，并提出分析用例。只需單擊一下，即可生成全面的業(yè)務(wù)上下文。

05.結語(yǔ)：對戰微軟OpenAI聯(lián)盟，
亞馬遜如何后發(fā)制人？

微軟和OpenAI聯(lián)盟風(fēng)頭正盛，全球第一大云巨頭也在年底面向AI再出一記重拳。雖然亞馬遜對這波生成式反應相對慢一些，但其在IaaS、PaaS、MaaS、SaaS的布局卻一點(diǎn)不少，尤其在底層硬件、生態(tài)聚合方面表現突出。當下，美國三大公有云服務(wù)巨頭AWS、微軟Azure、谷歌云都已將生成式AI置于重要戰略位置，試圖為增長(cháng)疲軟的云業(yè)務(wù)找到新的成長(cháng)曲線(xiàn)。AWS的打法有所區別，不是對AI公司及消費級產(chǎn)品的重大投資，而是建立平臺匯聚眾多中小企業(yè)的模型，側重為大模型及終端客戶(hù)提供底層云基座，有望通過(guò)其海量客戶(hù)及底座規模實(shí)現后發(fā)制人。