國產AI視覺芯片，誰是最強“卷王”？

人工智能三大主要應用場景：語音識別、自然語言處理、視覺應用，其中，視覺是發(fā)展最為成熟的領域之一。

對于快速發(fā)展的AI視覺來說，一個非常重要的基礎就是AI芯片。隨著落地規(guī)模越來越大、場景越來越豐富，對AI視覺芯片也提出了更高要求。哪類芯片更受歡迎？主要落地哪些場景？能夠解決哪些行業(yè)痛點？本文梳理了18家本土廠商的AI視覺芯片及相關應用，試圖分析出一些技術和落地趨勢。

漸成主流的三大AI視覺方案

根據應用方向來看，市面上的AI視覺方案可以簡單劃分為三大類：低功耗AI視覺方案、AI IPC模組方案、AI算力盒子。

第一，隨著端側智能需求越來越旺盛，低功耗AI視覺方案在迅速發(fā)展，主要應用品類有手機、智能門鎖、智能門鈴、家用AI攝像機等等。這些方案采用電池供電方式，因此對功耗要求非常高，使得低功耗AI視覺方案成為主流的應用。

面對越來越高的場景復雜度和圖像質量要求，傳統ISP圖像處理技術已近瓶頸。隨著參數庫逐漸龐大，調試越發(fā)困難，開發(fā)周期逐步拉長，畫質提升的投資收益率也越來越低。此時，畫質技術與AI技術的深度融合至關重要。利用AI算力深度學習海量場景和數據，智能調優(yōu)復雜參數，輸出算法模型輔助圖像處理，使圖像質量突破傳統ISP極限。AI與傳統ISP的結合趨勢在手機中非常突出，并且也在走入泛安防領域。

第二，隨著AI視覺應用在泛安防場景落地加速，傳統安防的人臉識別、人形檢測、入侵偵測等技術需求已經向消費場景滲透，網絡攝像頭（IP Camera）設備越來越趨向高清化、智能化。

IPC設備本身有一定的開發(fā)門檻，需要眾多技術支持。而AI IPC模組由于自帶應用算法，通常支持多種無線接入方式，且SDK便于用戶二次開發(fā)，因此比較受歡迎。這類方案相對比較成熟，進入了大批量出貨階段。

第三，AI算力盒子是AI和邊緣計算結合的設備，可實現端側和邊緣系統中的高性能計算和AI性能。

隨著端側智能需求提升，數據量也水漲船高，這類“盒子”設備越來越受到市場歡迎，它們往往具備豐富的功能拓展性，包括以太網、USB等接入功能，方便接入各種傳感器和外設，如連接攝像頭進行圖像采集等，支持HDMI顯示或CAN工業(yè)總線等，支持Wi-Fi、4G/5G通信，從而實現視覺識別+數據處理/分析的一站式控制，讓數據的傳輸、處理更高效，一定程度上推動了AI從云端的下沉應用。

五類AI視覺芯片大PK

剖開這些方案內部，AI視覺主芯片可以簡單區(qū)分為GPU、CPU/集成GPU、帶NPU的SoC、FPGA、以及RISC-V架構芯片等。這些芯片分別面向不同的應用和用戶類型，也各自呈現出不同的發(fā)展趨勢。

其中，基于GPU的開發(fā)板可能是許多用戶剛開始AI開發(fā)時就接觸到的，比如NVIDIA TX2或Nano，AMD的APU SoC等。這類產品最大的優(yōu)勢是生態(tài)完善，不論是Tensor Flow、Caffe、PyTorch哪種框架，或是哪種AI庫，運行起來都很流暢，開發(fā)體驗也比較好。

第二類CPU/集成GPU，主要針對中低算力需求的應用，只需已有的CPU或是集成GPU就可以滿足。優(yōu)勢在于整體硬件成本更低，且方案成熟；缺點就是算力不夠大，不能支持太大的AI模型。

第三類是帶NPU的SoC，已經越來越成為AI視覺主芯片的一大趨勢，它們將NPU與主處理器集成在一起，可滿足中高算力需求。這方面的代表有海思3519AV100、Hi3559A，瑞芯微RK3399Pro、RK1808等。由于是單芯片，硬件成本也適中，挑戰(zhàn)主要在于模型的量化部署方面，以及模型部署工具的成熟度，主要依賴于芯片廠商成熟的工具鏈支持。

除了這類單芯片設計，市面上還有一類神經計算加速棒產品，例如Intel Movidius、瑞芯微等都提供這類產品，可以通過USB插到板卡上提供運算能力。但是這類方案需要進行相互之間的數據傳輸，對于整體的方案設計、硬件的穩(wěn)定性等都有一定挑戰(zhàn)。

第四類基于FPGA的主控芯片，主要滿足對實時性要求較高的應用，比如自動駕駛/輔助駕駛、工業(yè)級應用等。挑戰(zhàn)在于開發(fā)難度，涉及一些自研AI加速FPGA邏輯，需要底層的加速設計和量化方案設計，以及相應的轉換、編譯。

第五類是RISC-V架構的芯片，近兩年得到了較大的發(fā)展。比如嘉楠基于雙核64位RISC-V架構+ISP圖像處理器的K510、全志科技最新推出的ARM Cortex-A7+RISC-V協處理核的多目異構AI視覺芯片V853、晶視智能基于平頭哥的雙核RISC-V IP+TPU+ISP的AI視覺芯片等。

由于需要進行圖像處理，這類芯片往往需要采用RISC-V主處理器+ISP或是Arm CPU+RISC-V協處理器的異構形式，以應對更大的算力需求和更高的圖像處理性能。

新老國產芯片廠商猛攻AI視覺賽道

OPPO馬里亞納X影像處理芯片

自研DSA架構，其中包含多個IP：有自研NPU IP—MariNeuro、自研ISP IP—MariLumi、自研MIPI接口IP、Arm控制IP，以及自主設計的雙層內存系統等。MariLumi主要進行圖像信號的降噪和HDR處理，MariNeuro主要負責AI降噪算法加速，自研MIPI用于對接各種圖像傳感器，包括OPPO和Sony定制的傳感器，Arm控制IP主要用于I/O口控制等，雙層內存架構用于內部數據搬運。

vivo AI-ISP影像芯片

vivo最近宣布新一代自研影像芯片由傳統ISP架構升級到了AI-ISP架構，可實現 1.3 萬億 bit /s的數據吞吐速率，16.3 Tops/w能效比，夜景視頻降噪效果提升 20%。

基于AI-ISP架構革新，vivo新一代自研芯片實現了三大突破：第一、片上內存單元的升級，帶來了每秒1.3萬億bit的數據吞吐速率，擁有了強大的算力保障。第二、AI計算單元的升級，帶來超高能效比，DLA加速器的峰值能效比達到每瓦16.3 萬億次運算。第三、圖像處理單元的升級，提升了AI-NR降噪、HDR影調融合、MEMC插幀等算法效果。

MediaTek天璣9000

MediaTek天璣9000在影像技術方面比較有代表性，采用Imagiq 790 ISP，處理速度最高可達90億像素/秒，據稱幾乎是競爭對手的3倍。集成了第 5 代 APU（APU590）旗艦級 AI 處理器，性能和能耗表現相比上代均提升 400%。以 GPU+APU 協同工作，平衡功耗與畫質需求。通過游戲 AI 低負載技術，GPU 只需更低的渲染資源消耗，就能獲得接近原生高分辨率的畫質，起到提升游戲畫質同時降低功耗的作用。短視頻也是目前最受用戶喜愛的重點應用之一，APU590 可為抖音帶來 2K 超分視頻體驗，畫面清晰度可提升 18%，讓 2K 短視頻高清視覺體驗觸手可及。

愛芯元智

愛芯元智先后推出了AX630A、AX620A、AX620U、AX170A兩代四顆端側、邊緣側AI視覺感知芯片。AX630A針對智慧城市、智慧交通等密集場景，以暗光圖像視頻處理能力和20路1080p 30fps的解碼能力為主要賣點；AX620A則更強調這些場景下滿足電池應用方案的低功耗優(yōu)勢，兼顧IoT、智能運動相機、手機等應用場景。

Pre ISP芯片AX170A今年3月通過手機客戶驗收，正式進入商用階段，落地消費領域。這是一顆影像專用AI處理芯片，最高算力28.8TOPS，獨立DDR帶寬最高可達8.5GBps，可對4K 30fps（每秒傳輸幀數）影像實時畫質優(yōu)化，配合主控芯片可實現超級夜景視頻和暗光拍攝功能，完成4K夜景視頻的預覽和拍攝。

海思

在暗光場景，海思綜合利用8級3D降噪和多光譜融合多種技術提供暗光成像品質。其中8級3D降噪技術利用8級濾波器進行降噪處理，它可以在空域濾波過程中同時實現圖像去噪和增強，以及在時域濾波過程中混合兩種不同的時間模式。8級3D降噪技術還包含兩個用于細節(jié)增強的IE模塊和一個銳化模塊，可以在實現更強的去噪的同時，保留并增強更多的圖像細節(jié)。而多光譜融合則通過紅外補光，在ISP將可見光、850nm、940nm等常見光譜融合，在不增加光污染的同時，最終使圖像效果達到暗光全彩，細節(jié)紋理豐富，過曝區(qū)和非過曝區(qū)準確處理。

此外，市面上還有搭載海思Hi3559A等芯片的AI算力盒子，這款芯片深耕于高性能影像處理，通過DSP可以加速視頻解碼，且擁有NNIE來支援深度學習神經網路，可以做到影像大解析度的分析以及高速的資訊交互傳輸，適合智慧安防及智慧零售等相關影像視覺AI應用。

國科微

國科微2015年進入安防IPC領域，正逐步構建安防前后端全系列布局?；谛乱淮鶤I ISP引擎，國科微最新推出高端IPC SoC GK7608。面對夜間彩色成像難題，GK7608引入 “黑白彩色雙光融合”技術，無需補充白光，在夜晚仍可獲得光彩鮮艷的圖像，為客戶提供高質量的低噪全彩方案。GK7608搭載高算力雙核NPU實現多個神經網絡并行運算，可應用到200個人/車的高密度場景，消除高密度場景盲區(qū)。

順應智能化和超高清發(fā)展趨勢，NVR芯片必須支持更多的接入路數，具備更高的清晰度、集成智能分析能力。國科微NVR SoC GK7618可同時解碼24路1080P30 視頻，集成多核處理器和圖像分析處理器，支持后端多種智能算法應用，提供高性能、智能化、易開發(fā)的NVR方案。

瑞芯微

瑞芯微三大類視覺芯片包括智慧視覺方案RV1126和RV1109、AIoT平臺RK3568、邊緣計算高性能平臺RK1808和RK399Pro，可滿足不同場景的算力需求。

基于自研的ISP 2.0技術及NPU性能，RV1126及RV1109適用于智能網絡攝像頭IPC、電池IPC/智能門鈴、門禁/閘機、智慧屏攝像頭及車載視覺等應用場景。RK3568主要面向網絡視頻錄像機（NVR&XVR）、云終端、物聯網網關、智能閘機/門禁等領域。采用四核A55架構CPU，G52 GPU；內置NPU，可提供1T算力。內置獨有的ISP圖像處理器，支持8M處理能力，強大的HDR，支持畸變矯正、去霧、噪點消除等功能。RK3399Pro和RK1808是瑞芯微第一代內置有NPU的高性能人工智能處理器，算力3T，應用于各類對算力有較高要求的嵌入式智能產品。

君正

視覺AI應用協處理器T02擁有8T計算能力，全速運行情況下功耗1.5W，可以搭配各大平臺實現視頻結構化——車牌、車型、人臉、人形，完成檢測及分析，用于平安城市、電力、學校等多種安防項目中。

最新一代智能視頻SoC芯片T31系列采用22納米工藝，擁有1.8G主頻，最高支持500萬25幀?？稍谠O備端集成君正的系列深度學習算法，包括深度學習的人形、人臉、車牌的檢測和識別。相較于傳統的CV算法，君正深度學習算法在復雜環(huán)境如遮擋、大角度等場景下更準確，解決了CV算法的痛點，賦能端級AI，主要應用包括智能門鈴、HIVE智能卡片機、熱成像與人臉識別一體機等。

全志

全志科技最新發(fā)布了V853多目異構AI視覺芯片產品，采用三核異構設計，包括Arm Cortex-A7主核、RISC-V協處理核與AI NPU。其中，Arm Cortex-A7主核可適應于兼容各類應用開發(fā)調試，RISC-V協處理核重點負責各類傳感器場景，提高實時響應速度，AI NPU則專注解決復雜多變的視覺檢測識別場景，其檢測識別幀率相較于傳統CPU方式可最少提升20倍以上。三核異構解決了傳統單核面對復雜視覺場景體驗不佳的痛點問題。這款芯片已進入量產階段，多個目標細分市場客戶正在進行產品方案開發(fā)和優(yōu)化工作，不久即將面市。

嘉楠

勘智K510是嘉楠公司推出的第二代AI邊緣側推理芯片，提供高性能的圖像及語音處理能力。K510-CORE是核心模組，板載一顆K510芯片，CPU采用雙核64bit RISC-V架構，K510搭載自主研發(fā)的第二代神經網絡處理器KPU2.0，采用計算數據流技術，算力較上一代提升3倍同時降低功耗。板載內存為512MB LPDDR3@1600MHz。支持兩路MIPI串行圖像輸入和一路DVP并行圖像輸入，支持1路MIPI圖像輸出。可用于工業(yè)/專業(yè)相機、3D識別模組、考勤門禁門鎖智能終端、AI教育開發(fā)板/機器人等。

云天勵飛

云天勵飛嵌入式視覺AI大腦芯片DeepEye1000是一款異構多核視覺分析SoC芯片，內嵌自定義指令集神經網絡處理器，可廣泛用于攝像機以及數字城市、新零售等場景。

針對機器人市場，云天勵飛基于DeepEye1000打造了Mini PCIe AI加速卡，能夠快速滿足機器人廠商對現有產品和方案智能升級的需求。應用云天勵飛DeepEye1000的廠商不僅能夠直接應用云天勵飛自研的上百種計算機視覺算法，也能夠通過云天勵飛的開放的工具鏈，搭載自研或第三方廠商的算法。

億智電子

億智電子SH系列AI芯片，支持基于深度神經網絡的指尖識別、文字識別(OCR)、手勢識別、人形跟蹤、人臉檢測、人臉識別、骨骼分析等智能算法，為智能云臺、掃譯筆、消費和辦公場景攝像頭提供AI算力。SV系列AI芯片主要面向視像安防場景，集成人臉識別、口罩識別、支持紅外測溫等功能，實現無接觸式測溫、考勤、鑒權等功能，廣泛應用于考勤門禁、AI-IPC等。

在汽車電子領域，SA系列的AI芯片集成高級駕駛輔助系統(ADAS)、駕駛員行為監(jiān)控(DMS)、盲區(qū)檢測(BSD)等智能算法，應用于AI行車記錄儀、智能部標機、電子后視鏡、智能車載攝像頭等智能車載電子產品。

清微智能

清微智能TX510是一款面向IoT設備的超低功耗視覺處理芯片，基于可重構計算架構，內置3D引擎支持AlexNet、GoogleNet、ResNet、VGG等主流神經網絡，可實現人臉識別、物體識別、手勢識別、目標跟蹤等功能。清微智能的可重構技術通過實現“軟件可編程、架構能變換”的能力，在同等功耗下具有更強算力，并具有低成本、應用開發(fā)簡便等特征。

TX510芯片的AI算力為1.2T(Int8)/9.6T(Binary)，峰值功耗小于450mW，啟動時間小于200ms，AI有效能效比達5.6TOPS/W。支持3D結構光，支持3D活體檢測、紅外活體檢測、可見光活體檢測等，可以抵御照片、視頻等二維攻擊，面具等三維攻擊。可廣泛應用于智能安防、金融支付、機器人、航空航天等多種領域。

雄邁

XM530BX0-LP1 是一款多功能高效的網絡視頻處理器芯片，包含了雄邁第三代ISP處理技術，相比傳統的ISP除了功能，還支持透霧、寬動態(tài)、以及RGB-IR等新一代特征。同時該芯片還支持H.264/H.265，MJPEG等視頻、圖像壓縮編碼及視頻傳輸，能夠高效地完成圖像編碼及傳輸。ISP圖像處理具有最大300W 像素(2048*1536)圖像處理能力，支持bayer圖像輸入，支持MIPI CSI接口輸入?？煞奖銘糜谝曨l監(jiān)控，網絡處理等方面的應用。

知存科技

WTM8000系列是一款針對視頻增強處理的存算一體AI處理芯片，可實現基于AI的各種視頻增強處理，包括物體識別、分類檢測，以及視頻增強等算法，適應于各種高能效復雜邊緣計算場景；能為視頻顯示提供4K/8K@60/120FPS 的插幀、超分、HDR寬動態(tài)和降噪能力；能為AI-ISP提供4K@60FPS的高能效NPU及高清視頻增強能力，例如HDR寬動態(tài)、降噪處理等。 WTM8000系列產品通過3D IC融合高能效存內計算與先進邏輯工藝，實現高算力、低功耗與高性價比 的AI解決方案。

晶視智能

晶視智能CR182x系列芯片采用平頭哥RISC-V C906內核，是一款定位于泛安防市場的輕智能AI視覺芯片。該芯片具備0.5 TOPs算力，支持2路MIPI或者DVP視頻輸入，最大分辨率2880*1620@30fps，內置DDR以及百兆MAC PHY。這款芯片除了采用雙核RISC-V，還集成了晶視智能自研的TPU、ISP，在9X9平方毫米的小封裝尺寸上提供雙攝+屏顯+內建DDR的緊湊設計。

酷芯微電子

酷芯AR9201以自研ISP邊緣端芯片技術加視頻解碼器完成高清圖片和影像傳輸，支持超低延時基帶芯片補足5G通訊、CPU算法調度和4顆DSP處理全向視覺避障信息，集通信、圖傳、避障、算法調度于一體。

針對無人機應用，酷芯端側AI SoC芯片包括影像視覺和機器視覺功能，用于目標檢測、識別、分析、跟蹤、三維重建等。目前，酷芯影像及智能視覺處理芯片已歷經一代AR9201、二代ARD33和AR9341，將在未來發(fā)布三代AR9521和AR9541。

地平線

地平線旭日3系列AIoT芯片有旭日3M和旭日3E兩個型號，分別應對不同AI算力的需求。旭日3系列能夠接入4到8路攝像頭，攝像頭分辨率可支持最高1200萬像素，硬件支持多攝像頭之間的精確同步，也可支持對于攝像頭進行校正，內置的高性能ISP，可以進行高效能的圖像處理，得到清晰、高質量畫質，再加上高性能低帶寬的特性，旭日3系列能夠支持智能NVR、DVR在車載里面的環(huán)視，以及各種常見的視覺應用。

智能駕駛芯片方面，地平線產品也是由視覺處理向多傳感器數據融合方向發(fā)展。征程5芯片可實現傳感器融合，算力/功耗達到96TOPS/20W。

寫在最后

AI催生了新的視覺應用，也顛覆了傳統的視覺設備。

由于AI的出現，處理器架構已經發(fā)生了翻天覆地的變化，把算法和處理器進行聯合優(yōu)化已經成為重要趨勢。跨界陣營的擴大，也將繼續(xù)延伸AI視覺應用的多樣化功能，創(chuàng)造出更多更為貼近用戶需求的產品。

據Counterpoint數據，2023 年由 SoC 驅動的具有專用AI核心的智能手機的比例預計將超過75%，而 2020 年時這個數字僅約為 35%。未來 1-2 年，獨立的 AI 核心不僅會運用在旗艦機、高端機上，還會在主流機、入門機中得到大量普及。

智能家居方面也值得期待。視覺和傳感交互的應用有望成為語音之后智能家居新的增長點，智能家居設備將向多模態(tài)交互發(fā)展，進一步催生可移動性產品的發(fā)展。更多的智能家居細分場景以及單品點位將持續(xù)爆發(fā)，尤其是圍繞安全需求的單品與系統，將會更加具有前瞻性與突破性。

在工業(yè)領域，AI視覺已被譽為工業(yè)之“眼”，正逐步代替人眼，深度賦能智能制造。同時，在汽車智能化的趨勢下，AI視覺也已經圍繞艙內智能、ADAS等應用展開競爭。

我們已經進入了海量數據爆發(fā)的時代，端邊云協同的AI視覺產業(yè)正在形成，這對算力、算法、數據、模型等又提出了新的要求。AI視覺已經在工業(yè)、消費、泛安防等領域逐步實現商用價值，未來也將繼續(xù)在更多領域步入規(guī)?；涞貞?，國產AI芯片也將迎來新的發(fā)展機遇。