蘋(píng)果大中華區董事總經(jīng)理葛越4千字演講：蘋(píng)果芯片都是量身定制

編 |  漠影
芯東西2021年7月8日上海世界人工智能大會(huì )現場(chǎng)報道，在今天上海開(kāi)幕的世界人工智能大會(huì )（WAIC）上，很少公開(kāi)露面的蘋(píng)果大中華區最高負責人，蘋(píng)果公司副總裁、大中華區董事總經(jīng)理葛越在智能芯片分論壇進(jìn)行了一場(chǎng)篇幅不小的現場(chǎng)分享。葛越核心講述了蘋(píng)果的產(chǎn)品開(kāi)發(fā)邏輯，芯片、系統等軟硬件的關(guān)鍵特性和進(jìn)展；其中她提到蘋(píng)果自研的芯片都是為自己（蘋(píng)果公司）的產(chǎn)品量身定制，也提到了在前一陣公布的新版iOS和MacOS系統平臺的一些新特性，比如圖片取字等等，同時(shí)她還透露，現在大中華區的蘋(píng)果開(kāi)發(fā)者人數已經(jīng)超過(guò)了440萬(wàn)人。以下是蘋(píng)果公司副總裁、大中華區董事總經(jīng)理葛越在7月8日上海人工智能大會(huì )的演講實(shí)錄：各位領(lǐng)導，各位嘉賓，大家下午好！首先非常感謝主辦方再次邀請我參加世界人工智能大會(huì )。很高興和這么多的業(yè)界專(zhuān)家和同仁匯聚一堂，探討如何讓技術(shù)為社會(huì )的發(fā)展起到更加有效的影響，并肩負起企業(yè)應有的社會(huì )擔當。Apple強大的人工智能技術(shù)幫助客戶(hù)、創(chuàng )意工作者、開(kāi)發(fā)者取得成功。我們自豪地看到，無(wú)論在中國還是世界各地，Apple的人工智能和機器學(xué)習技術(shù)正在改變著(zhù)人們的生活。今天我將分享Apple在人工智能和機器學(xué)習方面的做法，以及如何通過(guò)這些技術(shù)來(lái)幫助人們開(kāi)創(chuàng )一個(gè)更美好、更健康、更繁榮、更加激動(dòng)人心的未來(lái)。Apple端到端的產(chǎn)品設計，并嵌入機器學(xué)習，從而實(shí)現眾多耳熟能詳的功能，增強創(chuàng )造者和開(kāi)發(fā)者的創(chuàng )新能力。在整個(gè)過(guò)程中，我們把用戶(hù)隱私放在首位，同時(shí)提供卓越的用戶(hù)體驗。

硬件和軟件

首先，我想談?wù)凙pple產(chǎn)品和技術(shù)開(kāi)發(fā)的理念。我們對于我們的創(chuàng )造的技術(shù)是有選擇性的。我們產(chǎn)品和技術(shù)的開(kāi)發(fā)永遠都是為了打造最好的產(chǎn)品，實(shí)現最好的體驗，獨一無(wú)二的軟硬件緊密結合讓我們能夠做到這一點(diǎn)。Apple的端到端的產(chǎn)品設計，從芯片到硬件再到軟件全棧式覆蓋。這意味著(zhù)我們設計的是完整的用戶(hù)體驗，包括從芯片到操作系統，以及從拍攝到分享、溝通、創(chuàng )造和學(xué)習等一系列的豐富功能。讓我們從Apple的芯片說(shuō)起。我們的芯片為我們自己的產(chǎn)品量身定制，并為機器學(xué)習進(jìn)行了專(zhuān)門(mén)的優(yōu)化。我們知道機器學(xué)習能夠為用戶(hù)提供更為獨特的體驗，因此很早就開(kāi)始研發(fā)能在設備端有效運行復雜機器學(xué)習算法的芯片。10多年前Apple就開(kāi)始了這一工作，今天，我們幾乎所有產(chǎn)品都搭載了Apple自己的芯片。我們的硬件技術(shù)團隊采用了可擴展的芯片架構，同樣的模塊可適用于多個(gè)系統級芯片（SoC）。芯片設計過(guò)程中，我們的工程師擁有著(zhù)獨特的優(yōu)勢：他們設計的芯片不是用來(lái)出售給其他公司，而是專(zhuān)門(mén)為Apple特定的產(chǎn)品，甚至是為了特定功能而專(zhuān)門(mén)設計的。這種優(yōu)化貫穿于CPU、GPU、圖像信號處理器及更多組件。也正是這種不斷優(yōu)化卓越用戶(hù)體驗的愿望，推動(dòng)了我們開(kāi)發(fā)出Apple神經(jīng)網(wǎng)絡(luò )引擎。我們于2017年發(fā)布的A11仿生芯片中搭載了神經(jīng)網(wǎng)絡(luò )引擎，這是SoC中專(zhuān)門(mén)負責機器學(xué)習的單元。自那時(shí)起，我們不斷增加神經(jīng)網(wǎng)絡(luò )引擎的核心和能力。iPhone 12搭載的A14仿生芯片中的神經(jīng)網(wǎng)絡(luò )引擎能夠完成驚人的計算能力，即每秒11萬(wàn)億次的運算。去年，我們發(fā)布了搭載M1芯片的Mac，今年我們又發(fā)布了搭載M1芯片的iPad Pro。這是我們有史以來(lái)最強大的一款芯片，性能和能效都大幅提升。M1是首款采用先進(jìn)5納米制程打造的個(gè)人電腦芯片，封裝了高達160億個(gè)晶體管，其數量為 Apple 所有芯片之最。這款低能耗芯片搭載了世界上最快的中央處理器核心，擁有最卓越的中央處理器性能功耗比，配備了世界上最快的個(gè)人電腦集成顯卡，它的Apple神經(jīng)網(wǎng)絡(luò )引擎更帶來(lái)了突破性的機器學(xué)習性能。得益于此，M1芯片完成了看似不可能完成的任務(wù)：它的性能顯著(zhù)提升，包括將機器學(xué)習速度提升最高15倍，與此同時(shí)電池續航時(shí)間最高提升2倍。

功能

在開(kāi)發(fā)產(chǎn)品和功能時(shí)，我們最重要的目標就是通過(guò)更加簡(jiǎn)單易用、富有創(chuàng )意、并且充滿(mǎn)個(gè)性的技術(shù)讓用戶(hù)的生活變得更輕松。因此，我們廣泛的將機器學(xué)習用于賦能用戶(hù)的日?；顒?dòng)。利用機器學(xué)習可以支持 Siri語(yǔ)音識別，語(yǔ)言翻譯，設備端聽(tīng)寫(xiě)，將照片進(jìn)行分門(mén)別類(lèi)。Apple Watch上的洗手和睡眠等健康應用也得益于此。機器學(xué)習甚至可以根據用戶(hù)的使用習慣，優(yōu)化 Apple設備的續航和充電。我們在每一次軟件更新中，持續創(chuàng )新機器學(xué)習能力。例如，iOS 15和iPadOS 15 推出了一項我們稱(chēng)之為“實(shí)況文本”的新功能。該功能可以識別圖片中的文字，因此用戶(hù)可以像選擇普通文本一樣選擇這些圖片中的文字。用戶(hù)可以拍一張指示牌的照片，通過(guò)機器學(xué)習就可以翻譯、搜索更多信息或分享給朋友。iOS 15和iPadOS 15中的另一項新功能叫做“視覺(jué)查找”。有了這個(gè)功能，大家可以選擇圖片中的一個(gè)對象，比如一款藝術(shù)品、一本書(shū)籍、一個(gè)動(dòng)物或者一個(gè)地標，然后立即獲取關(guān)于這個(gè)對象更多的相關(guān)信息。我們相信，最好的產(chǎn)品是為所有人設計的產(chǎn)品。機器學(xué)習也驅動(dòng)了Apple圍繞輔助功能開(kāi)展的諸多創(chuàng )新。在我們產(chǎn)品自帶的輔助功能中，強大的麥克風(fēng)可以充當失聰人士的耳朵。當他們的設備“聽(tīng)到”火警、嬰兒啼哭或家用電器鳴叫等聲音時(shí)，會(huì )立即通知用戶(hù)。對視覺(jué)障礙用戶(hù)來(lái)說(shuō)，Apple產(chǎn)品的“旁白”功能使他們能夠無(wú)障礙地使用應用程序。通過(guò)機器學(xué)習，旁白能識別出設備屏幕上的內容。它能幫助用戶(hù)“看見(jiàn)”圖像、文本或用戶(hù)界面上的按鈕等內容，并向用戶(hù)解釋看到了什么。還有一個(gè)令我們倍感興奮的例子。今年晚些時(shí)候，肢體殘障人士將能夠通過(guò)一項名為“輔助觸控功能”的技術(shù)更加充分地使用Apple Watch。用戶(hù)佩戴手表時(shí)，該技術(shù)將Apple Watch強大的傳感器與機器學(xué)習技術(shù)相結合，能夠檢測到肌肉運動(dòng)與肌腱活動(dòng)的細微變化。因此，用戶(hù)只需通過(guò)手勢，甚至無(wú)需觸碰手表屏幕，就能移動(dòng)屏幕上的指針，調用各種強大的功能。通過(guò)這些方式，機器學(xué)習使得任何人都能輕松體驗Apple產(chǎn)品的魅力。我們相信，無(wú)論用戶(hù)使用產(chǎn)品的目的是什么，單純?yōu)榱藠蕵?lè )，或是想在世界上留下自己的印記，我們都應該為他們做出最好的產(chǎn)品，也就是適合每個(gè)人使用的產(chǎn)品。

隱私

我們希望所有人使用我們的產(chǎn)品的時(shí)候能用得順心，也用得放心。因此我們將隱私保護置于一切產(chǎn)品開(kāi)發(fā)的核心。我們知道，機器學(xué)習需要使用大量數據。但人工智能和機器學(xué)習的有效性并不需要以犧牲用戶(hù)隱私為代價(jià)。對Apple的所有員工而言，這是我們的首要關(guān)注點(diǎn)，也是基本的價(jià)值觀(guān)。同樣的隱私保護融入到我們全球產(chǎn)品設計的每個(gè)階段之中。無(wú)論是設計和訓練機器學(xué)習模型，還是開(kāi)發(fā)基于語(yǔ)音和文本的軟件，在開(kāi)發(fā)的每個(gè)階段我們都會(huì )問(wèn)自己同一個(gè)問(wèn)題：“我們如何能用最少的數據和最大程度的數據安全，打造最智能化的功能？”因此我們不收集大量的個(gè)人信息，不將用戶(hù)數據存儲在服務(wù)器上，也不出售給第三方。我們并不需要做這種犧牲。在A(yíng)pple所有的產(chǎn)品和服務(wù)中，我們僅使用必要的數據完成任務(wù)，并盡量在設備端進(jìn)行數據處理。當機器學(xué)習是在用戶(hù)的設備端實(shí)時(shí)發(fā)生的時(shí)候，它不僅更安全，還更實(shí)用，更加個(gè)性化。這里我想給大家舉幾個(gè)例子。Apple Pencil能通過(guò)機器學(xué)習識別你的筆跡。面容 ID和觸控ID能通過(guò)機器學(xué)習檢測你的面部或指紋。Apple Watch也是通過(guò)機器學(xué)習檢測異常心率，并識別罕見(jiàn)的心臟疾病。在這個(gè)過(guò)程中，你的任何個(gè)人信息都從未離開(kāi)過(guò)你的設備。在運行iOS 15和iPadOS 15的設備上，Apple的神經(jīng)網(wǎng)絡(luò )引擎功能十分強大。用戶(hù)向Siri提問(wèn)時(shí)，我們的目標是語(yǔ)音數據在設備端進(jìn)行處理。這意味著(zhù)Siri不需要錄音，也不用問(wèn)題發(fā)送到云端就可以處理和回答語(yǔ)音請求。當隱私被置于設計的核心時(shí)，機器學(xué)習的力量更為強大，也更有溫度。在照片應用中也可以看到我們對用戶(hù)隱私的承諾。我們知道，照片中含有一些關(guān)于朋友、家人和日常生活的最私人的數據。因此當你在照片中搜索人物、寵物或地點(diǎn)時(shí)，搜索僅發(fā)生在你的iPhone或iPad上。我們所有的產(chǎn)品都以這種標準進(jìn)行機器學(xué)習功能的開(kāi)發(fā)。當隱私得到保護時(shí)，機器學(xué)習能夠發(fā)揮更巨大的潛力，激發(fā)創(chuàng )新，提升創(chuàng )造力。我們堅持在設備端處理數據的努力，不僅更好地保護了隱私，還帶來(lái)了開(kāi)創(chuàng )性的新功能。我們認為魚(yú)和熊掌皆可得。
開(kāi)發(fā)者

正如大家所了解到的，Apple對機器學(xué)習的投入不僅限于自身創(chuàng )新，也延伸到我們遍布在世界各地、不斷增長(cháng)的龐大開(kāi)發(fā)者社區。世界各地的開(kāi)發(fā)者都可以使用Apple機器學(xué)習的框架Core ML，把機器學(xué)習模型融入到他們的應用中去。這使得開(kāi)發(fā)者能夠更輕松地開(kāi)發(fā)精彩的新功能和新體驗。Core ML大約在四年前推出，我們興奮地看到，中國和世界各地數以百萬(wàn)的開(kāi)發(fā)者都在使用這一框架。比如上海的開(kāi)發(fā)者Versa用了Core ML進(jìn)行創(chuàng )新，他們最新的編輯應用「不咕剪輯」深受視頻博主喜愛(ài)。利用Apple M1芯片，「不咕剪輯」幾乎可以對視頻進(jìn)行實(shí)時(shí)逐幀處理。因為開(kāi)發(fā)者們利用我們的產(chǎn)品和技術(shù)推出了優(yōu)秀的創(chuàng )新應用，普通創(chuàng )意人員都可以享受以往只有專(zhuān)業(yè)工作室才能實(shí)現的視頻和圖像處理效果。通過(guò)Apple的硬件設備，以及包括Metal在內的技術(shù)，開(kāi)發(fā)者們能最大程度地發(fā)揮App中的圖形和計算潛能。Metal幫助拓展了手機游戲的視覺(jué)前沿。同樣位于上海的開(kāi)發(fā)者米哈游就基于此技術(shù)，開(kāi)發(fā)的《原神》在全球受到追捧，還獲了年度 iPhone游戲的殊榮，相信很多人的iPhone上都有這款游戲。
開(kāi)發(fā)者社區

類(lèi)似這兩家的優(yōu)秀開(kāi)發(fā)者在我們的平臺上還有很多，而且他們的隊伍還在不斷壯大。大中華區的開(kāi)發(fā)者人數現在已經(jīng)超過(guò)了440萬(wàn)人，過(guò)去兩年規模增長(cháng)速度達到76%。Apple強大的技術(shù)支持正在惠及越來(lái)越多的人。通過(guò)Apple Developer Program，我們?yōu)楸姸嚅_(kāi)發(fā)者提供了最先進(jìn)的技術(shù)，幫助他們開(kāi)發(fā)出更多更好的應用。這其中包括成熟的大公司，也有小而美的新興企業(yè)。Apple在2020年推出了 「App Store小型企業(yè)計劃」，致力于為更多的小型開(kāi)發(fā)者提供支持，幫助他們開(kāi)發(fā)出深受全球喜愛(ài)的應用。我們認為這些努力也才剛剛開(kāi)始。Apple除了在所有設備中配有一顆強大的“芯”來(lái)保障技術(shù)賦能我們的生態(tài)和社區，更有一份為培育中國開(kāi)發(fā)者社區全心投入的意愿和責任。我們在上海的「設計開(kāi)發(fā)加速器」定期為中國的開(kāi)發(fā)者舉辦線(xiàn)上和線(xiàn)下講座、研討會(huì )及社交活動(dòng)。在全國各地不論是幾千人的大企業(yè)，還是包括個(gè)人開(kāi)發(fā)者在內的小企業(yè)，我們都會(huì )給予支持。我們不僅支持現有的開(kāi)發(fā)者，還通過(guò)“智惠計劃”激勵著(zhù)未來(lái)一代。大家可能聽(tīng)說(shuō)過(guò) WWDC獎學(xué)金計劃和全國大學(xué)生移動(dòng)應用創(chuàng )新賽，這些競賽讓數以萬(wàn)計的學(xué)生對編程產(chǎn)生濃厚的興趣。他們能獲得Apple工程師和成功開(kāi)發(fā)者的指導，并與世界各地志同道合的朋友見(jiàn)面。通過(guò)“智惠計劃”，我們還與中國發(fā)展研究基金和中國扶貧基金會(huì )等伙伴合作，為數十萬(wàn)從零到三歲的幼兒，農村地區的學(xué)齡兒童以及職業(yè)學(xué)校的年輕人們提供幫助。當我們提供給人們出色的工具時(shí)，他們就能實(shí)現非凡的創(chuàng )造。毫無(wú)疑問(wèn)，教育正是最重要的工具之一。我們很高興能將Apple芯片的能力和機器學(xué)習技術(shù)交給優(yōu)秀的年輕人、開(kāi)發(fā)者、設計師和工程師，幫助他們實(shí)現夢(mèng)想，我們更加期待用自己的教育之心承載我們的責任，賦能新一代。我們深信深思者慮遠，登高者望遠，輕履者行遠。我們愿和在座的各位領(lǐng)導和業(yè)界同仁上下求索，攜手同行，為用戶(hù)提供更卓越的技術(shù)、開(kāi)拓更廣闊的天地、開(kāi)創(chuàng )更美好的未來(lái)。謝謝大家！