深度揭秘OPPO自研影像專(zhuān)用NPU：AI能效比暴漲40倍，秀四大黑科技

作者 |  云鵬
編輯 |  心緣
如今，自研芯片已經(jīng)成為科技巨頭們的兵家必爭之地，通過(guò)芯片自研實(shí)現“人無(wú)我有”的產(chǎn)品特性，或許才能在內卷嚴重的市場(chǎng)中殺出一條路，對于手機行業(yè)來(lái)說(shuō)，這一需求尤為迫切。就在今天的OPPO未來(lái)科技大會(huì )上，OPPO帶來(lái)了自家首個(gè)影像專(zhuān)用NPU芯片馬里亞納 MariSilicon X。

該芯片基于DSA架構和臺積電先進(jìn)6nm工藝制造，通過(guò)AI算力與算法的結合，在高分辨、高色數無(wú)損成像、AI算法和HDR動(dòng)態(tài)范圍等方面，將手機計算影像的表現推上了一個(gè)新的臺階。“4K + 20bit RAW + AI + Ultra HDR”的影像能力第一次被帶到了移動(dòng)設備上。

今天發(fā)布的這個(gè)馬里亞納 X將作為影像專(zhuān)用NPU，與手機SoC一起構成手機核心運算的“左右大腦”，OPPO將這種設計稱(chēng)之為“一機雙芯”。OPPO如何實(shí)現這枚影像專(zhuān)用NPU與SoC的高效協(xié)同，在A(yíng)I性能方面取得突破性提升？他們又是如何將這樣一款自研芯片從圖紙上做到手機里？通過(guò)深挖馬里亞納 X的核心技術(shù)及研發(fā)歷程，我們試圖瞥見(jiàn)OPPO芯片版圖一隅。

影像NPU到底是什么“一機雙芯”時(shí)代已經(jīng)到來(lái)

提及手機自研芯片，蘋(píng)果的A系列芯片一直在性能側引領(lǐng)著(zhù)行業(yè)，隨著(zhù)M1系列移動(dòng)芯片的落地，整個(gè)科技行業(yè)都愈發(fā)強烈地感受到了自研芯片能夠給產(chǎn)品帶來(lái)的強大優(yōu)勢。目前高通、聯(lián)發(fā)科等主流芯片廠(chǎng)商的通用移動(dòng)SoC性能隨著(zhù)工藝、架構、算法的提升，都有顯著(zhù)提升，但即便如此，智能手機廠(chǎng)商們依然在近幾年積極布局自研芯片。事實(shí)上，通用芯片為了保證更好的適用性，勢必會(huì )做出一定的平衡取舍，每家廠(chǎng)商的產(chǎn)品其實(shí)都會(huì )根據產(chǎn)品特性，對于某方面性能有著(zhù)更專(zhuān)用的需求，此時(shí)通用芯片就有些力不從心。想要做出“人無(wú)我有”的獨特產(chǎn)品優(yōu)勢，光靠吃通用芯片“大鍋飯”是不夠的。一直以來(lái)，OPPO的智能手機產(chǎn)品都非常注重影像能力，計算攝影時(shí)代，手機影像能力的提升需要強大AI算力的支持，通用芯片已經(jīng)無(wú)法滿(mǎn)足計算影像對芯片提出的AI算力和能效要求。OPPO要實(shí)現自己的影像目標，就必須需要通過(guò)自研專(zhuān)用NPU的形式，最大化地解決算力和能效的問(wèn)題，這也是OPPO要做馬里亞納 X的根本原因。為此，OPPO做出了全球首個(gè)專(zhuān)門(mén)為手機影像打造的專(zhuān)用NPU。

AI計算涉及大量的神經(jīng)網(wǎng)絡(luò )模型，而NPU（神經(jīng)網(wǎng)絡(luò )處理器）也就應運而生，相比傳統CPU和GPU，專(zhuān)門(mén)針對神經(jīng)網(wǎng)絡(luò )計算進(jìn)行特殊優(yōu)化設計的NPU，在處理AI任務(wù)時(shí)，性能和能效比都會(huì )高很多。需要特別注意的是，雖然現在主流移動(dòng)SoC中都有設計ISP模塊，但ISP的主要作用是對于傳感器采集到的圖像信息進(jìn)行處理，而并不具備馬里亞納 X這樣的強勁AI性能，這也是影像專(zhuān)用NPU區別于ISP的重要一點(diǎn)。在OPPO看來(lái)，通過(guò)影像專(zhuān)用NPU這種“專(zhuān)芯專(zhuān)用”的方式，才能解決目前ISP和通用芯片算力不足的難題，這將是未來(lái)手機計算影像發(fā)展的主流方向。得益于馬里亞納 X芯片的加入，OPPO首次完成了影像鏈路的垂直整合，馬里亞納 X將通用平臺、圖像傳感器和影像算法三者整合貫通，實(shí)現軟硬件生態(tài)的打通。

AI能效比暴漲40倍影像四大核心領(lǐng)域關(guān)鍵突破

作為一個(gè)影像專(zhuān)用NPU，馬里亞納 X主要在A(yíng)I計算能效、Ultra HDR、實(shí)時(shí)RAW計算、RGBW PRO四個(gè)關(guān)鍵技術(shù)領(lǐng)域實(shí)現了突破，其中AI能效比表現尤其突出。

蘋(píng)果一直被認為是手機AI算力領(lǐng)域的天花板，而這次馬里亞納 X，其18TOPS的AI算力已經(jīng)可以比肩蘋(píng)果A15，而在峰值算力強勁的同時(shí)，實(shí)現較好的能效比才是關(guān)鍵，這一點(diǎn)在手機這類(lèi)移動(dòng)設備上顯得尤為重要。馬里亞納 X能夠實(shí)現11.6TOPS/W的能效比。值得一提的是，該結果是基于真實(shí)落地商用的復雜AI算法和隨機生成圖片得來(lái)，實(shí)際上，如果基于現實(shí)世界的人像、風(fēng)景等真實(shí)圖片進(jìn)行處理，馬里亞納 X的能效比還會(huì )更高。

為了更直觀(guān)的感受這一能效比，OPPO也將搭載馬里亞納 X的機型與搭載驍龍888的Find X3 Pro進(jìn)行了對比，能夠發(fā)現，馬里亞納 X運行OPPO自研AI降噪模型的性能可以達到40FPS，大約是OPPO Find X3的20倍。而在此基礎上，馬里亞納 X的功耗僅有800毫瓦，僅為OPPO Find X3上驍龍888的一半，因此能效比達到了40倍。

要知道，應用在視頻拍攝中，最低性能門(mén)檻也要有30FPS，可以說(shuō)，馬里亞納 X讓算法在視頻端的應用從不可能變?yōu)榱丝赡堋?/strong>基于這樣的AI性能及高能效比，馬里亞納 X在手機影像領(lǐng)域實(shí)現了諸多突破。比如在成像的動(dòng)態(tài)范圍方面，馬里亞納 X最高能夠支持20bit Ultra HDR成像、覆蓋100萬(wàn):1的最大亮度范圍，這樣的能力已經(jīng)媲美“人眼級”，也是目前行業(yè)中如驍龍8、天璣9000這類(lèi)主流移動(dòng)SoC HDR能力的4倍。

同時(shí)值得一提的是，在無(wú)損成像方面，OPPO這次將所有復雜的算法和運算都放在RAW域上進(jìn)行處理，并且是實(shí)時(shí)進(jìn)行的。馬里亞納 X最高支持20bit的RAW計算，將傳統模式下只能在后處理完成的計算推向了最前端，為整個(gè)影像鏈路輸出無(wú)損計算后的高質(zhì)量數據，從而帶來(lái)后期成像的更高畫(huà)質(zhì)輸出。從本質(zhì)原理上來(lái)看，手機攝影是一個(gè)采集事物表面反射的光轉換成數字圖片的過(guò)程，在這個(gè)轉換過(guò)程中會(huì )有大量的信息損失，比如從原始的RAW信息轉換為RGB信息，再轉換為YUV信息。馬里亞納 X則可以重塑轉換鏈路，將處理節點(diǎn)前置在信息量100%的RAW域直接做實(shí)時(shí)計算。

RAW有更原始的信息，線(xiàn)性度、色彩更好。當然，在RAW上處理，對算法復雜度、實(shí)際相應的硬件投入各方面都會(huì )要求更高，但這恰恰是馬里亞納 X的強項。值得一提的是，OPPO這次將馬里亞納 X自研芯片與此前的定制化RGBW圖像傳感器進(jìn)行了深度耦合，通過(guò)與馬里亞納 X進(jìn)行協(xié)同，RGBW傳感器的能力也被最大化地釋放了出來(lái)，OPPO將其稱(chēng)之為RGBW Pro Mode。

具體來(lái)看，馬里亞納 X針對RGBW傳感器收集圖像信息的特點(diǎn)，針對性地優(yōu)化了RAW信息的處理管線(xiàn)，在HDR AI降噪這類(lèi)典型應用場(chǎng)景中，根據OPPO實(shí)際測試，馬里亞納 X通過(guò)雙鏈路的設計和2x RAW計算，能夠實(shí)現8.6dB信噪比和1.7倍解析力提升。OPPO認為，無(wú)損計算將是計算影像的必然趨勢，因此他們也會(huì )在該技術(shù)領(lǐng)域繼續深耕。在強勁AI性能和對影像體驗的直觀(guān)改善背后，馬里亞納 X芯片在架構和工藝制程層面也進(jìn)行了大膽突破。馬里亞納 X采用了AI時(shí)代的DSA架構理念，通過(guò)AI芯片化的專(zhuān)芯專(zhuān)用，彌合了傳統硬件和AI算力鴻溝。在芯片工藝方面，馬里亞納 X成為了全球首個(gè)采用臺積電6nm的移動(dòng)端獨立影像專(zhuān)用NPU。

更先進(jìn)的制程工藝，是高能效比的基礎，同時(shí)6nm的產(chǎn)能也相對穩定，能夠一定程度上避免了缺芯情況的發(fā)生。總體來(lái)看，得益于馬里亞納 X在A(yíng)I、HDR處理、無(wú)損計算、圖像傳感器深度耦合四大核心技術(shù)領(lǐng)域的突破，OPPO將智能手機計算影像推向了“4K+20bit RAW+AI+Ultra HDR”的新極限。

歷時(shí)三年、千人團隊影像專(zhuān)用NPU是一次“閱兵”

從這些核心技術(shù)和優(yōu)勢中我們能看到，馬里亞納 X這個(gè)專(zhuān)為影像設計的NPU芯片，能夠從“源頭”強化手機拍攝的整個(gè)鏈路，從而實(shí)現拍攝質(zhì)量和體驗的提升。今天，我們能夠看到馬里亞納 X出色表現，這背后是OPPO歷時(shí)三年，投入上千人團隊的艱辛研發(fā)歷程所結出的果實(shí)。早在2019年，OPPO就開(kāi)始在自研芯片領(lǐng)域加大布局力度，此前OPPO的“馬里亞納計劃”也多次引起業(yè)內的廣泛熱議。近兩年，手機“百瓦快充”大戰激戰正酣，而OPPO是最早發(fā)布120W有線(xiàn)充電的廠(chǎng)商，當年的“充電5分鐘，通話(huà)2小時(shí)”也成為了膾炙人口的OPPO宣傳語(yǔ)。而在這樣的快充技術(shù)背后，實(shí)際上OPPO已經(jīng)在多年前就實(shí)現了快充全鏈路芯片自主定義、自主研發(fā)設計。可以看到，自研芯片對于產(chǎn)品競爭力的顯著(zhù)提升是不言而喻的，因此OPPO也一直在自研芯片的路上堅持走下去。

此次馬里亞納 X的誕生，并不是一蹴而就，更不是曇花一現，對于OPPO來(lái)說(shuō)，這只是自研芯片之路上的一次“閱兵”。目前，除了高通、聯(lián)發(fā)科、展銳等三方移動(dòng)SoC廠(chǎng)商，有能力為自家手機產(chǎn)品做SoC的科技公司只有蘋(píng)果、三星和華為。毫無(wú)疑問(wèn)，自研芯片就是技術(shù)研發(fā)實(shí)力的直觀(guān)體現，也是后續各家廠(chǎng)商角逐的重點(diǎn)賽道。OPPO馬里亞納 X的落地，證明了OPPO具有芯片設計、完成芯片生產(chǎn)、將其落地在終端產(chǎn)品中并真正實(shí)現應用體驗直觀(guān)提升的全鏈路能力。OPPO的自研芯片版圖，基本框架已經(jīng)搭好，而接下來(lái)OPPO要做的，就是補齊更多技術(shù)模塊，向著(zhù)更高的目標進(jìn)發(fā)。

結語(yǔ)：瞄準SoC，OPPO自研芯片之路趨穩

這次OPPO帶來(lái)的馬里亞納 X自研影像專(zhuān)用NPU芯片，以出眾的AI能力為基礎，切入手機影像領(lǐng)域，將手機影像體驗帶到了“4K + 20bit RAW + AI + Ultra HDR”的水平。當下，自研芯片對于手機廠(chǎng)商的重要性愈發(fā)凸顯，尤其是專(zhuān)用自研芯片，在特定領(lǐng)域性能、功耗方面的優(yōu)勢是傳統通用芯片無(wú)法相比的。而OPPO能夠將馬里亞納 X落地，也是多年來(lái)積累的芯片技術(shù)的一次集中展示。未來(lái)，自研芯片仍將是科技公司的核心戰場(chǎng)，OPPO的馬里亞納 X明年在Find X系列中表現如何，OPPO的首款SoC芯片又將何時(shí)到來(lái)，我們拭目以待。