芯耀
1149
回顧計(jì)算平臺(tái)的發(fā)展，PC互聯(lián)網(wǎng)時(shí)代以電腦為計(jì)算平臺(tái)，人機(jī)交互方式為鍵盤(pán)、鼠標(biāo)、顯示器；移動(dòng)互聯(lián)網(wǎng)時(shí)代計(jì)算平臺(tái)轉(zhuǎn)變?yōu)槭謾C(jī)，交互方式為五六英寸屏幕的多點(diǎn)觸屏；而空間計(jì)算時(shí)代，交互方式包括手動(dòng)、眼動(dòng)、虛實(shí)結(jié)合等。
在空間計(jì)算領(lǐng)域，早期以VR為主，通過(guò)GPU渲染虛擬圖像并借助晶圓顯示?？臻g計(jì)算中的空間主要是真實(shí)空間，需將真實(shí)內(nèi)容與虛擬內(nèi)容疊加，目前主流產(chǎn)品為MR和AR。從技術(shù)角度看，兩者主要區(qū)別在于虛實(shí)混合方法，MR通過(guò)攝像頭采集真實(shí)世界，AR則更多是依靠光學(xué)疊加。通常，MR設(shè)備體積較大，AR設(shè)備較為輕量級(jí)，形態(tài)類似墨鏡，基于波導(dǎo)技術(shù)的則類似近視眼鏡。
萬(wàn)有引力是一家年輕的創(chuàng)業(yè)公司，成立于2021年，由十幾位從美國(guó)硅谷回國(guó)的工程師共同創(chuàng)立，目前公司擁有220名員工。公司的愿景是為下一代的空間計(jì)算提供完整的端到端解決方案，業(yè)務(wù)涵蓋芯片、整機(jī)、算法，其中算法不與芯片綁定，如“眼動(dòng)、手動(dòng)、SLM”等算法已在非公司平臺(tái)上應(yīng)用。日前，在芯原第二屆可穿戴專題技術(shù)研討會(huì)上，萬(wàn)有引力（寧波）電子科技有限公司聯(lián)合創(chuàng)始人、芯片研發(fā)負(fù)責(zé)人陳一敏發(fā)表了題為“AI驅(qū)動(dòng)智能視覺(jué)，AR眼鏡的未來(lái)之路”的主題演講，深入分享了公司對(duì)于AI、XR眼鏡的見(jiàn)解與探索。
陳一敏認(rèn)為，未來(lái)MR和AR的界限可能會(huì)模糊化，基于VST的眼鏡有望做到與AR眼鏡一樣輕量級(jí)，屆時(shí)市場(chǎng)對(duì)其定義有待進(jìn)一步明確。萬(wàn)有引力成立三年多來(lái)，取得了一系列成果：去年上半年，該公司發(fā)布了反向透視芯片EB100，實(shí)現(xiàn)數(shù)字人反向透視；今年3月，推出了5nm全功能空間計(jì)算協(xié)處理器X100；同時(shí)，該公司正在研發(fā)基于AR眼鏡輕量級(jí)的處理器VX100，預(yù)計(jì)今年下半年面市，下一代XR芯片也在規(guī)劃中。
對(duì)于全功能MR芯片，陳一敏認(rèn)為MR與VR最大區(qū)別在于應(yīng)用場(chǎng)景，VR主要用于打游戲，是帶空間定位的游戲機(jī)，而MR可替換筆記本電腦。以蘋(píng)果Vision Pro雙芯片方案為例，R1是專門(mén)為空間計(jì)算打造的處理器，雙芯片架構(gòu)體現(xiàn)了空間計(jì)算概念，一個(gè)芯片負(fù)責(zé)空間，一個(gè)芯片負(fù)責(zé)計(jì)算。MR使Vision Pro具備筆記本電腦基礎(chǔ)功能，R1將相關(guān)功能帶到空間，處理圖像、感知、Sensor、空間定位、虛實(shí)結(jié)合等。萬(wàn)有引力的芯片在視覺(jué)效果、分辨率、呈現(xiàn)效果上更具優(yōu)勢(shì)，且部署了自研的“手眼圖象顯示”等算法。有了該芯片，MR設(shè)備無(wú)需再呈現(xiàn)Vision Pro或VR“大頭照”形態(tài)，也可做成墨鏡眼鏡形態(tài)。光學(xué)透視的AR眼鏡在光學(xué)域進(jìn)行虛實(shí)疊加，若外部環(huán)境過(guò)亮?xí)绊懱摂M內(nèi)容顯示，而基于VST的虛實(shí)結(jié)合方式，若能做到同等重量和續(xù)航，將成為未來(lái)AR的潛在形態(tài)。
陳一敏認(rèn)為，AI/AR眼鏡具備語(yǔ)音、拍照、顯示等基礎(chǔ)功能，更重要的是，它是目前公認(rèn)的最佳多模態(tài)AI數(shù)據(jù)入口，可成為個(gè)人管家。萬(wàn)有引力將在今年下半年推出AR眼鏡專用協(xié)處理器，在專業(yè)從業(yè)人員角度看，它是一顆ISP芯片，需掛載另外一顆MCU，但公司認(rèn)為ISP只是其功能之一，該芯片是數(shù)據(jù)采集、數(shù)據(jù)處理全天候AI芯片。
該芯片具有小型化特點(diǎn)，可放置在近視眼鏡形態(tài)的鼻梁處或鏡腿側(cè)。以采用該芯片的3D打印的眼鏡為例，其單邊尺寸僅4毫米。小型化不僅美觀，還允許鏡腿與鏡框分離。同時(shí)，該芯片采用自研第二代ISP，基于5nm優(yōu)化，在低功耗環(huán)境下可提供逼近手機(jī)后攝像頭質(zhì)量的圖像畫(huà)質(zhì)，實(shí)現(xiàn)超快抓拍，且支持四路攝像頭，除兩路高清RGB外，還可支持手動(dòng)、眼動(dòng)等CV處理。
低功耗是該芯片聚焦的關(guān)鍵領(lǐng)域。陳一敏指出，AI眼鏡最大的技術(shù)難點(diǎn)不在AI，而在功耗。目前設(shè)想的AI功能在手機(jī)上均可實(shí)現(xiàn)，但要在50克的設(shè)備上運(yùn)行一整天，需要專用芯片解決。全天候AI要求芯片在正確時(shí)間以正確方式抓拍用戶可能感興趣的內(nèi)容，并以正確分辨率、幀率甚至Token后的格式存儲(chǔ)。
以用戶看到新品詢問(wèn)成分的場(chǎng)景為例，芯片需要具備高清攝像、CV處理管線、極低功耗專用硬件通路、眼動(dòng)和ROI判斷算力等功能，CV與高清攝像并行，結(jié)合IMU進(jìn)行多模態(tài)處理，實(shí)現(xiàn)智能Gating效果。更高級(jí)的場(chǎng)景是用戶不主動(dòng)觸發(fā)交互，眼鏡作為管家全天候提供服務(wù)，如詢問(wèn)鑰匙位置，這需要芯片具備毫瓦級(jí)AIWays - ON拍攝、NPU PROI算法部署等功能，以判斷用戶可能感興趣的內(nèi)容，并進(jìn)行ROI的Crop/Zoom操作、智能藍(lán)牙喚醒與回傳等。
為攻克這些難題，萬(wàn)有引力在芯片研發(fā)上得到了芯原的大力幫助。陳一敏表示，選擇芯原的關(guān)鍵IP有多方面考量，包括成熟的工具鏈和客戶支持，芯原可支持芯原客戶的客戶，即萬(wàn)有引力的客戶；定制化IP需求得到滿足，強(qiáng)化了公司競(jìng)爭(zhēng)力；可靠性高，芯原出貨量大，風(fēng)險(xiǎn)極低；在XR領(lǐng)域市場(chǎng)影響力大，提及芯原IP是加分項(xiàng)，有助于獲得客戶認(rèn)可。有了芯原的支持，萬(wàn)有引力對(duì)AI/AR眼鏡處理芯片的競(jìng)爭(zhēng)力充滿信心。
