芯耀
371
在移動(dòng)芯片發(fā)展歷史上，始終有這樣一個(gè)趨勢(shì)：伴隨著智能手機(jī)的升級(jí)，移動(dòng) SoC 的組成模塊越來(lái)越多，制程上不斷挑戰(zhàn)摩爾定律極限。
但是看多了幾大廠商之間的芯片斗法，見慣了參數(shù)不斷上升、模塊不斷增多、制程納米數(shù)不斷下降，似乎也是有點(diǎn)乏味。難道移動(dòng)芯片的創(chuàng)新之路，就沒有其他方向可走了嗎？
今年大家最關(guān)心的移動(dòng)芯片，毫無(wú)疑問(wèn)是麒麟 9000。這款芯片采用了 5nm 工藝制程，集成 153 億晶體管，在性能、AI、拍照等能力上都有大幅創(chuàng)新，各位想必也了解過(guò)很多了。但在麒麟 9000 的創(chuàng)新中，有一項(xiàng)卻是跟其他芯片完全不同的。那就是麒麟 9000 在業(yè)界首次實(shí)現(xiàn) ISP+NPU 融合架構(gòu)。
移動(dòng)芯片中的融合架構(gòu)創(chuàng)新，這個(gè)說(shuō)法大家似乎很少聽到，那么理解起來(lái)可能也難免生澀。但其實(shí)，麒麟 9000 中的這個(gè)創(chuàng)新，不僅將直接帶給華為旗艦機(jī)，比如 Mate 40 系列用戶以全新的影像體驗(yàn)，還指向著移動(dòng)芯片與產(chǎn)品能力高度同頻、智能與影像能力全面融合，這兩個(gè)在今天非常核心的行業(yè)趨勢(shì)。
或許可以說(shuō)，麒麟 9000 中的 ISP 邂逅 NPU，不僅是一枚芯片，幾款手機(jī)的事，更是未來(lái)智能手機(jī)發(fā)展中的一種確定性未來(lái)。
為了幫助大家理解這個(gè)技術(shù)創(chuàng)新，咱們今天就換個(gè)路子：咱把 ISP 和 NPU 想象成偶像劇里的男女主角。這個(gè)架構(gòu)融合就約等于組 CP。順著這個(gè)思路，咱們來(lái)聊三個(gè)問(wèn)題：
1、?這對(duì) CP 有什么緣分？
2、?他倆牽手需要跨過(guò)哪些障礙？
3、 CP 成了之后，能給觀眾發(fā)哪些糖？
好，咱們這就開始。
緣分注定多時(shí)：ISP 與 NPU 的邂逅
話說(shuō)，整個(gè)一塊移動(dòng) SoC 中，一般來(lái)說(shuō)有這么幾位成員：CPU、GPU、基帶，ISP 模塊，以及這幾年最火熱的 AI 處理單元 NPU。
其中 ISP 是手機(jī)拍照的必需品，堪稱智能手機(jī)時(shí)代的江湖老男神；而 NPU 則是剛剛出道幾年的少年俠女，興致勃勃要闖出一片新天地。
看過(guò)電視劇的都知道，男女主就得看著有區(qū)別，不在一個(gè)路子上，這樣邂逅之后才有 CP 感。ISP 和 NPU 正是如此。雖然 ISP 和 NPU，兩大部件看似處在不同的道路上，但它們?cè)谀壳斑@個(gè)周期中卻有相遇的必然性。
一方面，傳統(tǒng)的手機(jī)端 ISP 開始面臨一系列瓶頸。比如對(duì)暗光拍攝的高要求，就為芯片硬件處理性能提出了更高要求。再比如為了解決手機(jī)攝影的進(jìn)光量問(wèn)題，近兩年興起了 RYYB 傳感器，傳統(tǒng) ISP 已經(jīng)無(wú)法應(yīng)對(duì)其中 Y 像素蘊(yùn)含的色彩信息容量。或許可以說(shuō)，影像的世界太復(fù)雜，傳統(tǒng) ISP 有點(diǎn)撐不住了。
另一方面，AI 算法也在面對(duì)越來(lái)越豐富的圖像處理任務(wù)時(shí)，通過(guò)深度網(wǎng)絡(luò)對(duì)逐個(gè)像素特征的學(xué)習(xí)和表達(dá)，大幅提升了畫質(zhì)。所以在今天，圖像與視頻處理過(guò)程中需要大量 AI 算法的計(jì)算，而 ISP 本身在很多任務(wù)上不具備 NPU 的計(jì)算效率，就需要通過(guò) ISP 與其他模塊間的計(jì)算傳輸來(lái)支撐復(fù)雜的圖形圖像算法，最終導(dǎo)致要么犧牲算法強(qiáng)度，要么造成處理延遲，都會(huì)導(dǎo)致用戶體驗(yàn)變差。觸摸到天花板的 ISP，必須完成一些變革才行。當(dāng)然，ISP 本身也在發(fā)生不少變化，比如麒麟 9000 里采用了新一代的 ISP 6.0 圖像處理器。但這還不夠，為了讓 ISP 能夠發(fā)揮出跟上時(shí)代的價(jià)值，需要給他安排一場(chǎng)邂逅。
邂逅的對(duì)象，就是近幾年風(fēng)頭無(wú)兩的 NPU。NPU 在移動(dòng) SoC 中正處在高速進(jìn)化階段，比如麒麟 9000 中，華為達(dá)芬奇架構(gòu)升級(jí)到了 2.0 版本，實(shí)現(xiàn)了 NPU 算力的再次翻倍，以 148 分的成績(jī)刷新了蘇黎世聯(lián)邦理工學(xué)院 AI Benchmark 排行。
而實(shí)力雄厚的 NPU，正在雄心勃勃瞄準(zhǔn)著新機(jī)遇。AI 處理能力需要與具體的任務(wù)和體驗(yàn)結(jié)合，才能讓用戶真正感覺到智能的魅力。而在一系列任務(wù)中，圖像是與 AI 結(jié)合關(guān)系最緊密的一點(diǎn)。而 AI 計(jì)算需要跨越的主要挑戰(zhàn)，就是高效和實(shí)時(shí)化的圖像處理。
從這個(gè)關(guān)系可以看到，ISP 需要更強(qiáng)大的 AI 計(jì)算能力來(lái)完成突破，NPU 則需要與圖像處理更緊密的聯(lián)系來(lái)發(fā)揮自己的潛力，兩者的緣分其實(shí)早就注定。
從這點(diǎn)來(lái)看，麒麟 9000 的 ISP+NPU 融合架構(gòu)雖然是行業(yè)的全新突破，但從產(chǎn)業(yè)邏輯上卻是一種必然的邂逅。
為了滿足這場(chǎng)邂逅的充分必要條件，麒麟 9000 還需要完成一系列挑戰(zhàn)。
嗑 CP 的準(zhǔn)備工作：新架構(gòu)，新挑戰(zhàn)
俗話說(shuō)，沒有世仇的羅密歐與朱麗葉是無(wú)聊的，沒有挑戰(zhàn)的 CP 感也是乏味的。
ISP+NPU 的架構(gòu)融合，可以有效解決今天手機(jī)用戶關(guān)于攝影的核心需求：一是提升了 AI 能力，讓視頻拍攝也可以獲得 AI 支持；二是讓華為提出的 RYYB 傳感器更加出色，將攝影的細(xì)節(jié)色彩還原和暗光拍攝能力再次提升。
但這樣的價(jià)值卻并不容易實(shí)現(xiàn)，ISP 與 NPU 的架構(gòu)融合，還需要克服一系列的技術(shù)挑戰(zhàn)，在多種高精度因素之間尋求最合適的平衡點(diǎn)。讓我們繼續(xù)磕偶像劇的思路，把 ISP 和 NPU 的架構(gòu)融合挑戰(zhàn)，想象成情侶間經(jīng)常碰到的三個(gè)困難場(chǎng)景：
1、性格：性格不合，是很多情侶遇到的第一個(gè)問(wèn)題。而 AI 的性格就是算法。ISP+NPU 融合新架構(gòu)，首先就是要找到適合這個(gè)新架構(gòu)的算法。要知道，ISP 作為影像處理單元，在架構(gòu)融合之后要給 NPU 輸入非常龐大而復(fù)雜的數(shù)據(jù)。為了能穩(wěn)定有效地處理這樣的數(shù)據(jù)，NPU 需要確保運(yùn)算中的魯棒性，還需要提升運(yùn)行效率。這就需要開發(fā)團(tuán)隊(duì)最大化讓 NPU 的算法模型與硬件配合，確保 NPU 和 ISP 性格合適，相處得來(lái)。
2、能力：在 ISP+NPU 的融合架構(gòu)里，一個(gè)重要目標(biāo)就是滿足視頻拍攝時(shí)的 AI 處理。而這需要 NPU 具備足夠強(qiáng)的能力，也就是充沛的計(jì)算能效。比如說(shuō)在如 30fps 場(chǎng)景下，整個(gè) ISP 鏈路必須在 33ms 內(nèi)完成單幀計(jì)算工作。這就留給 AI 處理算法的時(shí)間很短。如果計(jì)算性能不達(dá)標(biāo)，將產(chǎn)生極大的卡頓問(wèn)題。所以說(shuō)，NPU 足夠強(qiáng)勁，能夠支撐起足夠的計(jì)算能效，是新架構(gòu)面對(duì)的第二個(gè)挑戰(zhàn)。
3、錢包：情侶在一起，不能很快就把家底折騰沒了。對(duì)于 ISP+NPU 的新架構(gòu)來(lái)說(shuō)，就是不能以過(guò)度的耗電為代價(jià)執(zhí)行新架構(gòu)。否則手機(jī)的耗電和發(fā)熱問(wèn)題會(huì)嚴(yán)重影響用戶體驗(yàn)。因此架構(gòu)突破還必須約束在一定的能效范疇內(nèi)，不能三兩下耗光手機(jī)電池的“錢包”。
這些因素的相互影響與制約下，麒麟 9000 的開發(fā)團(tuán)隊(duì)必須在算力、算法、能耗間取得一個(gè)精準(zhǔn)的平衡點(diǎn)，才能達(dá)成 ISP+NPU 的創(chuàng)新。
眾多技術(shù)創(chuàng)新背后，其實(shí)都是帶著枷鎖起舞。麒麟 9000 的 ISP+NPU 融合架構(gòu)也是如此。只有在嚴(yán)苛的平衡條件下，AI 計(jì)算能力和圖像處理能力，才可以由原本的普通合作關(guān)系，變成一體化的高甜 CP。
一系列用戶體驗(yàn)的創(chuàng)新，都由此開始。
影像智能高甜時(shí)刻：麒麟 9000 帶給用戶的質(zhì)感
下面我們來(lái)回答最重要的一個(gè)問(wèn)題：ISP 和 NPU 這一對(duì)，跨過(guò)了這么多艱難也要在一起，究竟能給廣大觀眾帶來(lái)點(diǎn)什么？
事實(shí)上，芯片是手機(jī)產(chǎn)品與應(yīng)用的想象力基礎(chǔ)，真正的手機(jī)創(chuàng)新往往要從芯片開始。我們回到用戶的視角中，會(huì)發(fā)現(xiàn)麒麟 9000 的架構(gòu)創(chuàng)新重新打破了我們對(duì)手機(jī)影像能力的常識(shí)界定，并且將近幾年備受矚目的技術(shù)路徑推到了更成熟的階段。
對(duì)于用戶來(lái)說(shuō)，麒麟 9000 中 ISP+NPU 的高甜 CP，帶來(lái)了這樣幾個(gè)關(guān)于視覺世界的全新質(zhì)感：
1、?升級(jí)：完美支持 RYYB 色彩。
新的 ISP+NPU 融合架構(gòu)，首先實(shí)現(xiàn)了用智能計(jì)算的新方式，全面支持新型 RYYB CFA。這讓 RYYB 的價(jià)值被進(jìn)一步放大，用戶體驗(yàn)更加具有一致性。用戶直接的感受是，日常拍照的細(xì)節(jié)和色彩還原將更加逼真，尤其是夜晚拍攝效果將得到又一次巨大升級(jí)。
2、開啟：視頻拍攝真智能。
ISP+NPU 融合架構(gòu)將超強(qiáng)的細(xì)節(jié)還原、降噪能力帶入了視頻領(lǐng)域，并且讓暗光環(huán)境下拍攝的視頻更加清晰、細(xì)節(jié)展現(xiàn)淋漓盡致。在新架構(gòu)的支持下，麒麟 9000 可以實(shí)現(xiàn)視頻拍攝智能化水準(zhǔn)，以及實(shí)時(shí)化效果質(zhì)量的全面提升。開啟了智能視頻時(shí)代色彩、清晰度、光線捕捉的全新水準(zhǔn)。
3、?和諧：計(jì)算攝影與整機(jī)體驗(yàn)更加適配。
ISP+NPU 的融合新架構(gòu)，讓計(jì)算攝影這個(gè)近幾年的核心議題，可以與手機(jī)的整體計(jì)算、能耗體驗(yàn)更加適配，相互關(guān)系更加平衡。在提升攝影、攝像等視覺水準(zhǔn)的同時(shí)，不以犧牲手機(jī)能耗為代價(jià)，細(xì)水長(zhǎng)流，讓整體體驗(yàn)更加順滑。
可以說(shuō)，ISP+NPU 的新架構(gòu)是對(duì)計(jì)算攝影新的理解，是一次芯片架構(gòu)設(shè)計(jì)創(chuàng)新，讓手機(jī)影像拍攝能力得到了一次全面升級(jí)，在追求所見極致化的路上走得更遠(yuǎn)。而麒麟 9000 更深層的產(chǎn)業(yè)意義在于，它展現(xiàn)了新一輪的移動(dòng)芯片變革可能性。在智能手機(jī)行業(yè)中，芯片一般都是作為基礎(chǔ)部件，不會(huì)直接考慮手機(jī)產(chǎn)品本身的創(chuàng)新需求與方向。這是全球半導(dǎo)體行業(yè)分工導(dǎo)致的常態(tài)，但在華為這樣的全棧終端廠商崛起后，事情開始不斷發(fā)生改變。
以麒麟 9000 為例，ISP+NPU 的架構(gòu)融合創(chuàng)新，更加適配華為終端產(chǎn)品采用的 RYYB 傳感器、電影攝像頭解決方案、影像智能等一系列新部件、新功能、新的產(chǎn)品方向。這展現(xiàn)出了華為在手機(jī)端與移動(dòng)芯片端協(xié)同開發(fā)的全新高度。以用戶需求和用戶體驗(yàn)為導(dǎo)向，芯片開發(fā)可以與手機(jī)發(fā)展高頻同步，即使需要跨越很高的融合難度，但最后依然可以把“甜美”的智能影像體驗(yàn)送到用戶面前。
另一方面，智能技術(shù)與影像能力的融合，也讓移動(dòng)芯片某種程度上反思一味追求多能力、高數(shù)值的傳統(tǒng)發(fā)展定式。
很大可能性上，ISP+NPU 的融合架構(gòu)創(chuàng)新，將是創(chuàng)造更多可能的開始。手機(jī)產(chǎn)業(yè)的軟硬件之間、系統(tǒng)與應(yīng)用之間的聯(lián)系正在更加緊密。
在這對(duì) CP 成功牽手出道背后，我們能看到色彩的創(chuàng)新可能驅(qū)動(dòng)芯片的更迭；AI 算法的演進(jìn)也能帶來(lái)拍攝體驗(yàn)的升級(jí)。集成化、一體化、智能化，構(gòu)成了未來(lái)智能手機(jī)的康莊大道。
一條由麒麟 9000 開啟的，高甜的智能+影像之路。
下載ECAD模型
