Arm全新智能視覺參考設計，助力中國廠商搶占先機

隨著人工智能、物聯(lián)網(wǎng)等技術的不斷發(fā)展，它們所具備的功能也越來越多、越來越先進。而這些發(fā)展的基礎則是智能視覺。如果說眼睛是人類心靈的窗戶，那智能視覺將是未來人工智能及物聯(lián)網(wǎng)等前沿技術的“慧眼”，它也將成為未來邊緣設備等的普世能力。

尤其，隨著ChatGPT的風靡，大模型讓原本專屬于人類的感知、思考和行動能力逐漸向機器轉移。而這一現(xiàn)象將加速科技的下一個拐點的到來，那就是以機器人和自動駕駛等技術為代表的行動無處不在的時代。而在這一新時代，智能視覺也必不可少。

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務拓展副總裁馬健表示：“因為機器系統(tǒng)必須通過視覺等感官理解周圍環(huán)境，做出相應的決策和行動，視覺信息為自動駕駛和機器人提供了關鍵的安全和避障能力，這是生死攸關問題。”

智能視覺系統(tǒng)技術發(fā)展趨勢

智能視覺系統(tǒng)正在朝著以下幾個方面的技術趨勢發(fā)展。首先是云、邊、端的協(xié)同，由于視頻數(shù)據(jù)巨大的數(shù)據(jù)量以及諸如自動駕駛等應用的實時性要求決定了智能視覺系統(tǒng)需要能夠將計算和決策任務分布在云、邊和終端設備上，并實現(xiàn)協(xié)同工作。

其次是AI加持，未來的智能視覺系統(tǒng)將繼續(xù)依賴深度學習模型和神經(jīng)網(wǎng)絡，提高圖像的分析和識別能力，并利用強化學習和自主自適應學習，使系統(tǒng)能夠從環(huán)境中不斷學習和改進，并適應新的場景和任務。

第三就是算力支持，由于復雜的模型和算法，大規(guī)模的圖像數(shù)據(jù)處理實時性、高精度、高并發(fā)等要求，智能視覺系統(tǒng)需要提供越來越強大的計算資源和算力支持。智能視覺系統(tǒng)的廣泛應用也引發(fā)了對隱私和安全性的關注，未來的趨勢是采用加密、匿名化等技術手段保護用戶的隱私，同時加強系統(tǒng)的安全性，防止被惡意攻擊和濫用。

而智能視覺芯片架構在過去幾年也經(jīng)歷了一系列的演進，從功能固定難以編程的DSP和ASK，到通用性強易編程的CPU架構，到現(xiàn)在最先進的綜合CPU、ISP圖像處理器、NPU AI加速器，VPU視頻編解碼器、GPU圖形處理器的異構SoC片上系統(tǒng)，已經(jīng)逐步實現(xiàn)低功耗、高性能和高度集成的特點。適用于資源受限的邊緣設備，比如智能手機、攝像頭、XR，機器人和物聯(lián)網(wǎng)設備等，為智能視覺成為一種普世的能力奠定基礎。

Arm+安謀科技的全新智能視覺參考設計

針對智能視覺未來的龐大需求，Arm近期攜手安謀科技推出了一款智能視覺參考設計。據(jù)馬健介紹，該方案的硬件參考設計包括了CPU、ISP、NPU和VPU處理器選項以及將這些元件粘合在一起的子系統(tǒng)IP。值得一提的是，這也是Arm的IP與安謀科技的IP首次結合在一起，并由安謀科技預先集成和預先驗證。

Arm智能視覺參考設計組成

該款參考設計中的CPU采用的是Arm Corstone-1000 和 Corstone-300。Corstone-1000是首款為Cortex-A設計的子系統(tǒng)，該方案基本配置是經(jīng)過量產(chǎn)考驗的Cortex-A35或Cortex-A53。而Corstone-300則在智能視覺參考設計中，作為低功耗待機子系統(tǒng)，降低邊緣設備的功耗，提高系統(tǒng)效率。ISP選用的是Arm在去年六月發(fā)布的Mali-C55，其也是Arm迄今為止面積最小、功耗最低、且可配置性最高的ISP產(chǎn)品。

而參考設計中的VPU和NPU則是來自于安謀科技自研的“玲瓏”VPU和“周易”NPU。

馬健表示，Arm的這款智能視覺參考設計非常與眾不同，一是因為它采用成熟的Arm CPU IP作為基礎，Arm CPU在智能攝像頭領域已占有九成以上份額，已經(jīng)應用于諸多智能視覺品牌設備，形成了強大的軟件生態(tài)系統(tǒng)。

另外，該設計帶有低功耗待機子系統(tǒng)，可以支持電池供電的視覺設備。安謀科技的玲瓏VPU提供了緊湊、多格式和高效的視頻編解碼器，以及周易NPU的高達4個TOPS的ML加速，使該參考設計可以支持機器視覺的用例。

此外，在發(fā)布智能視覺參考設計的同時，Arm也宣布了“Arm智能視覺合作伙伴計劃”，將攜手AI視覺、芯片設計、軟件、算法、系統(tǒng)集成等合作伙伴共同打造基于Arm架構的智能視覺應用的強大生態(tài)。

面向中國市場

據(jù)馬健介紹，Arm的這款智能視覺參考設計目前只面向中國市場。她表示，中國作為人口大國，快速的城市化，從制造到零售等行業(yè)的自動化程度不斷提高，以及機器學習和物聯(lián)網(wǎng)的重大技術突破，使中國對視覺設備的需求以及在視覺技術方面的創(chuàng)新都穩(wěn)步增長。

另外，我們也聽到很多來自中國Arm合作伙伴的反饋，他們普遍認為中國很多的IPC視覺系統(tǒng)已經(jīng)進入紅海市場。在中國這個競爭非常激烈的市場中，視覺系統(tǒng)的設計者和制造商都必須能夠把自己最新的想法、自己的差異化盡快地達到量產(chǎn)的水平，推向市場。怎樣才能讓合作伙伴能夠聚焦于他們的差異化，而不是去做很多重復性的基礎IP整合工作、基礎軟件的開發(fā)工作，這其實就是Arm和安謀科技攜手合作推出Arm智能視覺參考設計的初衷。

最后，馬健總結道，隨著AI和大模型一日千里的發(fā)展，智能視覺技術將繼續(xù)在所有垂直行業(yè)得到更廣泛的應用，視覺將無處不在。在視覺成為一種普世能力的趨勢下，預先集成、預先驗證的標準化子系統(tǒng)會為加速視覺產(chǎn)品設計和創(chuàng)新提供堅實的基礎。