?淺談光電探測(cè)器和圖像傳感器（十）：神經(jīng)形態(tài)傳感器

前言/

很久沒(méi)有更新圖像傳感器和光電探測(cè)器系列了！前段時(shí)間真的太忙了，導(dǎo)致很多留言過(guò)期不能回復(fù)，還請(qǐng)見(jiàn)諒哈~ 這周末難得有空，那就繼續(xù)更新吧~

前面的淺談光電探測(cè)器和圖像傳感器系列介紹了圖像傳感器的分類，常見(jiàn)光電探測(cè)器的原理、材料和器件結(jié)構(gòu)、微光探測(cè)圖像傳感器、偏振探測(cè)圖像傳感器、X射線圖像傳感器、量子點(diǎn)圖像傳感器、新型圖像傳感器等內(nèi)容。

往期回顧如下：

二維材料熱載流子光電器件

淺談光電探測(cè)器和圖像傳感器（十）:光譜探測(cè)器與片上光譜儀（1）

淺談光電探測(cè)器和圖像傳感器（九）:量子點(diǎn)圖像傳感器（1）

淺談光電探測(cè)器和圖像傳感器（八）:新型傳感器之柔性圖像傳感器和透明圖像傳感器

淺談光電探測(cè)器和圖像傳感器（七）：X射線探測(cè)器（1）

淺談光電探測(cè)器和圖像傳感器（六）:從成像技術(shù)角度新型探測(cè)器之偏振探測(cè)

淺談光電探測(cè)器和圖像傳感器（五）-原理、材料、器件結(jié)構(gòu)

淺談光電探測(cè)器與圖像傳感器（四）

淺談圖像傳感器和光電探測(cè)器(三)-微光探測(cè)上

淺談圖像傳感器（二）--讀者回復(fù)

淺談光電探測(cè)器與圖像傳感器（一）

01 新型傳感器/

隨著第四次工業(yè)革命(工業(yè)4.0)的到來(lái),人工智能(AI)大模型的突破,具身智能(Embodied AI)的涌現(xiàn),物聯(lián)網(wǎng)(IoT)萬(wàn)物互聯(lián)時(shí)代的到來(lái),傳感器技術(shù)面臨著前所未有的機(jī)遇與挑戰(zhàn)。這一系列技術(shù)變革不僅推動(dòng)了傳感器在應(yīng)用場(chǎng)景上的多元化,更對(duì)其功能性能提出了更高的要求。

工業(yè)4.0：在智能工廠中,傳感器需要準(zhǔn)確捕捉生產(chǎn)線上的各種參數(shù),如溫度、壓力、振動(dòng)等,并能夠?qū)崟r(shí)傳輸數(shù)據(jù),為生產(chǎn)過(guò)程的優(yōu)化和預(yù)測(cè)性維護(hù)提供依據(jù)。這就要求傳感器不僅要提高測(cè)量精度,還要增強(qiáng)抗干擾能力和數(shù)據(jù)處理能力。

AI大模型：AI大模型的發(fā)展需要海量數(shù)據(jù)，傳感器作為強(qiáng)大的“數(shù)據(jù)收集器”，其數(shù)據(jù)收集的有效性、可靠性、全面性是保證AI模型訓(xùn)練的關(guān)鍵。在數(shù)據(jù)維度方面，傳感器需要能夠采集更加豐富和多維度的數(shù)據(jù),以滿足AI模型的訓(xùn)練需求。在數(shù)據(jù)量方面，海量數(shù)據(jù)的直接采集對(duì)數(shù)據(jù)傳輸、存儲(chǔ)、處理都帶來(lái)了巨大困難，此外能耗也是不容忽視關(guān)鍵因素。因此需要傳感器具備低能耗、事件驅(qū)動(dòng)型的特性，最好能配置邊緣計(jì)算，使其具備一定的本地處理能力,能夠在數(shù)據(jù)源頭進(jìn)行初步的特征提取和分析,減輕中央處理系統(tǒng)的負(fù)擔(dān)。

IOT萬(wàn)物互聯(lián) :物聯(lián)網(wǎng)（IoT） 和 傳感器 之間的關(guān)系，就像人的五感和大腦的關(guān)系。傳感器是物聯(lián)網(wǎng)的“眼”、“耳”、觸”、“鼻”、“舌”，負(fù)責(zé)感知周圍環(huán)境，并將感知到的數(shù)據(jù)轉(zhuǎn)化為數(shù)字信號(hào)。這些信號(hào)再通過(guò)網(wǎng)絡(luò)傳輸?shù)皆贫嘶虮镜?a class="article-link" target="_blank" href="/tag/%E6%9C%8D%E5%8A%A1%E5%99%A8/">服務(wù)器，經(jīng)過(guò)處理后，實(shí)現(xiàn)智能化的控制和決策。可以說(shuō)傳感器充當(dāng)了物理世界和數(shù)字世界的連接接口。

傳感是實(shí)現(xiàn)IOT的關(guān)鍵技術(shù)，https://www.eetimes.eu/designers-guide-to-industrial-iot-sensor-systems/

Embodied AI:具身智能的研究推動(dòng)了傳感器向仿生學(xué)方向發(fā)展。模仿人類感官系統(tǒng)的多模態(tài)傳感器正在成為研究熱點(diǎn),如觸覺(jué)傳感器、視覺(jué)傳感器、神經(jīng)形態(tài)傳感器等。這些傳感器不僅要能夠準(zhǔn)確感知外界環(huán)境,還要能夠像人類感官一樣進(jìn)行快速的信息整合和反饋。

未來(lái)的傳感器將朝著高精度、多功能、智能化、低功耗的方向發(fā)展,以滿足工業(yè)4.0、AI、具身智能和物聯(lián)網(wǎng)等新興技術(shù)領(lǐng)域的多樣化需求。

02 神經(jīng)形態(tài)傳感器/

神經(jīng)形態(tài)傳感器具有邊緣數(shù)據(jù)處理、事件驅(qū)動(dòng)、低功耗等特點(diǎn)。它們能夠僅發(fā)送必要的數(shù)據(jù)進(jìn)行處理，而不是全部數(shù)據(jù)。

神經(jīng)形態(tài)最早是加州理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)教授Carver Mead提出。他出版了《Analog VLSI and neural system》，這是關(guān)于類腦工程或類腦計(jì)算的第一本書(shū)，書(shū)中提到“.. the use of very-large-scale integration (VLSI) systems containing electronic analog circuits to mimic neuro-biological architectures present in the nervous system.”。

神經(jīng)形態(tài)視覺(jué)的愿景是創(chuàng)造一個(gè)包含硬件開(kāi)發(fā)，軟件支撐，生物神經(jīng)模型的智能視覺(jué)感知系統(tǒng)，其工作原理模擬生物智能體的視覺(jué)感知結(jié)構(gòu)。神經(jīng)形態(tài)其與目前的“類腦智能”發(fā)展緊密相連，‘類腦’一詞被用來(lái)描述實(shí)現(xiàn)神經(jīng)系統(tǒng)模型的模擬、數(shù)字和混合模式模擬/數(shù)字VLSI及軟件系統(tǒng)（用于感知、運(yùn)動(dòng)控制或多感官整合）。

事件相機(jī)是一種代表性的神經(jīng)形態(tài)傳感器，近年來(lái)其成為了學(xué)術(shù)界研究熱點(diǎn)和企業(yè)界的關(guān)注焦點(diǎn)。事件相機(jī)（Event Camera）是從Dynamic Vision Sensor （DVS）發(fā)展過(guò)來(lái)的，而DVS的發(fā)展起源于1990年Misha Mahowald（Carver Mead的學(xué)生）在其博士論文中提到的“硅視網(wǎng)膜”。

神經(jīng)形態(tài)傳感實(shí)質(zhì)上不是一個(gè)器件單體而是一套整體解決方案，事件相機(jī)僅是一個(gè)具體實(shí)現(xiàn)案例。光學(xué)傳感系統(tǒng)包括感知、計(jì)算、乃至光學(xué)前處理。因此作為一個(gè)完整解決方案，可以從不同角度實(shí)現(xiàn)神經(jīng)形態(tài)傳感，也可以從不同的功能層面去模擬人眼和人腦過(guò)程。
從硬件層面出發(fā)，神經(jīng)形態(tài)傳感器有三種設(shè)計(jì)思路，一種是在傳感器件后端加入邊緣處理芯片，比如POLYN通過(guò)在傳感器后立即利用特定應(yīng)用的NASP前端芯片，為傳統(tǒng)傳感器添加智能。第二種是直接制備具有神經(jīng)形態(tài)特性的傳感像素，比如事件相機(jī)。第三種是在光學(xué)成像模組上引入神經(jīng)形態(tài)設(shè)計(jì)。

根據(jù)YOLE報(bào)告預(yù)測(cè)，根據(jù)Yole Group最新發(fā)布的報(bào)告，神經(jīng)形態(tài)計(jì)算和傳感在2034年將創(chuàng)造84億美元的市場(chǎng)。其受到了學(xué)術(shù)界、企業(yè)巨頭、初創(chuàng)公司的廣泛關(guān)注。

與神經(jīng)形態(tài)傳感緊密相關(guān)的是神經(jīng)形態(tài)計(jì)算，前面提到，實(shí)現(xiàn)神經(jīng)形態(tài)傳感的一個(gè)思路是保持像素層不變，而在數(shù)據(jù)處理層引入神經(jīng)形態(tài)計(jì)算芯片。神經(jīng)形態(tài)計(jì)算芯片受生物神經(jīng)系統(tǒng)啟發(fā)，這類芯片致力于模擬人腦的結(jié)構(gòu)和功能，以實(shí)現(xiàn)更高效、更節(jié)能的計(jì)算方式。其核心優(yōu)勢(shì)在于低功耗、高并行性以及對(duì)復(fù)雜數(shù)據(jù)的處理能力，為人工智能、機(jī)器學(xué)習(xí)等領(lǐng)域帶來(lái)了新的突破。

近日，神經(jīng)形態(tài)計(jì)算公司SynSense收購(gòu)類腦視覺(jué)傳感器公司iniVation，實(shí)現(xiàn)類腦傳感+神經(jīng)形態(tài)計(jì)算的強(qiáng)強(qiáng)聯(lián)合。結(jié)合事件感知和神經(jīng)網(wǎng)絡(luò)計(jì)算結(jié)合可以實(shí)現(xiàn)更高維的智能化。基于事件的感知通過(guò)將感官信息（例如視頻、音頻、雷達(dá)）編碼為尖峰流來(lái)解決冗余數(shù)據(jù)的問(wèn)題。這些傳感器受到生物傳感器（視網(wǎng)膜和耳蝸）的時(shí)序編碼的啟發(fā)，這一時(shí)序脈沖感知信號(hào)與神經(jīng)形態(tài)尖峰算法（SNN）配合，從而可以實(shí)現(xiàn)探索腦啟發(fā)的感知與計(jì)算模型及傳感器的有機(jī)融合。

神經(jīng)形態(tài)計(jì)算面向更廣的應(yīng)用場(chǎng)景，直接服務(wù)于當(dāng)前的AL智能和大數(shù)據(jù)，預(yù)計(jì)在 2022 年至 2029 年的預(yù)測(cè)期內(nèi)將以 52.50% 的速度增長(zhǎng)，到 2029 年預(yù)計(jì)將達(dá)到 346.1 億美元的價(jià)值。

03 事件相機(jī)/

事件相機(jī)與傳統(tǒng)的幀式相機(jī)不同，它不會(huì)像傳統(tǒng)相機(jī)那樣以固定的速率捕捉圖像，而是只在場(chǎng)景中發(fā)生變化時(shí)才記錄信息。這種獨(dú)特的機(jī)制賦予了事件相機(jī)許多傳統(tǒng)相機(jī)無(wú)法比擬的優(yōu)勢(shì)，例如：高動(dòng)態(tài)范圍、低延遲、低功耗。

事件驅(qū)動(dòng)的實(shí)現(xiàn)方案是在像素讀出電路部分設(shè)計(jì)類“差分”的設(shè)計(jì)邏輯,通過(guò)差分型視覺(jué)采樣及AER傳輸協(xié)議 實(shí)現(xiàn)只傳輸動(dòng)的像素的數(shù)據(jù)。這一設(shè)計(jì)的主要優(yōu)勢(shì)在于：

1.低冗余數(shù)據(jù)：輸出異步稀疏脈沖也不存在“幀”的概念，不再受限于快門時(shí)間和幀率， 感知光強(qiáng)的變化，可消除靜態(tài)不變的視覺(jué)冗余；

2. 高時(shí)間分辨：采樣具有高時(shí)間分辨率，適用于高速運(yùn)動(dòng)視覺(jué)任務(wù)分析；

3. 高動(dòng)態(tài)范圍：光電流與電壓的對(duì)數(shù)映射關(guān)系，增強(qiáng)了高低光照的感知能力進(jìn)而提升動(dòng)態(tài)范圍。

與傳統(tǒng)的高速相機(jī)比，事件相機(jī)的巧妙之處在于，其借助整體架構(gòu)的配合實(shí)現(xiàn)對(duì)硬件要求的降低，從而實(shí)現(xiàn)整個(gè)系統(tǒng)的成本降低、體積縮小，同時(shí)由于其改變了數(shù)據(jù)采集和傳輸?shù)哪Ｊ剑蟠蠼档蛿?shù)據(jù)量，提高了設(shè)備的動(dòng)態(tài)范圍。這是一個(gè)很成功的通過(guò)整體系統(tǒng)的設(shè)計(jì)來(lái)實(shí)現(xiàn)所需性能最優(yōu)的典型案例。

除了在像素電路設(shè)計(jì)上引入差分思想構(gòu)建事件特性外，還可以在光電探測(cè)像素部分用同樣的思路構(gòu)建差分光電響應(yīng)。2023年，香港理工大學(xué)柴楊&華中科技大學(xué)何毓輝教授合作，在Nature Electronics上報(bào)告了一種事件驅(qū)動(dòng)視覺(jué)傳感器，其通過(guò)兩個(gè)極性相反的PN光電二極管組成，構(gòu)建差分型事件驅(qū)動(dòng)。

04 神經(jīng)形態(tài)傳感器的主要應(yīng)場(chǎng)景/

神經(jīng)形態(tài)傳感器常見(jiàn)的應(yīng)用場(chǎng)景包括：機(jī)器人視覺(jué)、自動(dòng)駕駛、高速運(yùn)動(dòng)物體檢測(cè)、低功耗感知、增強(qiáng)現(xiàn)實(shí)（AR）和虛擬現(xiàn)實(shí)（VR）、高動(dòng)態(tài)范圍成像、眼動(dòng)追蹤、工業(yè)監(jiān)測(cè)、高精度測(cè)量。其既可以作為高速相機(jī)的低成本替換產(chǎn)品，用于高速攝影應(yīng)用中；又可以作為always-on的低功耗邊緣傳感用于安防、檢測(cè)等領(lǐng)域。

單分子定位顯微鏡 (Single-molecule localization microscopy, SMLM) 是一種超分辨率顯微鏡技術(shù)，它能夠突破傳統(tǒng)光學(xué)顯微鏡的衍射極限，實(shí)現(xiàn)納米尺度的成像。其實(shí)現(xiàn)超分辨的原理在于利用熒光分子的閃爍特性，將單個(gè)熒光分子在時(shí)間上進(jìn)行分離，然后通過(guò)精確定位每個(gè)分子的位置，最終重建出高分辨率的圖像。根據(jù)這一原理可以看到，SMLM具有較強(qiáng)的事件特性，是一個(gè)很適合事件相機(jī)的應(yīng)用場(chǎng)景。2023年巴黎文理研究大學(xué)Clément Cabriel， Ignacio Izeddin等，在Nature Photonics上發(fā)文，基于經(jīng)濟(jì)的事件傳感器，實(shí)現(xiàn)了單分子定位顯微鏡SMLM數(shù)據(jù)采集和處理。相比于傳統(tǒng)電子倍增電荷耦合器件或科學(xué)互補(bǔ)金屬氧化物半導(dǎo)體相機(jī)的視頻采集，基于事件的傳感器，在閃爍分子的位置上，提供了更高的時(shí)間分辨率和通量。

除了在大家熟知的消費(fèi)和工業(yè)生產(chǎn)領(lǐng)域，事件相機(jī)等神經(jīng)形態(tài)傳感器在軍事和遙感領(lǐng)域都有重要應(yīng)用。

全球定位系統(tǒng)（GPS）是軍事和商業(yè)定位、導(dǎo)航和定時(shí)應(yīng)用的關(guān)鍵。全球定位系統(tǒng)的導(dǎo)航性能取決于能否可靠、無(wú)障礙地接收低功率衛(wèi)星信號(hào)。這些信號(hào)很容易受到干擾或欺騙。AFIT 自主與導(dǎo)航技術(shù)中心已投資于各種替代導(dǎo)航解決方案，以降低這種風(fēng)險(xiǎn)。基于事件傳感器的視覺(jué)慣性測(cè)距（EVIO）導(dǎo)航就是其中一個(gè)研究領(lǐng)域。

測(cè)試中的系統(tǒng)（SUT）包括基于事件的傳感器（EBS）和慣性測(cè)量單元（IMU），安裝在 F-16D 上的可重構(gòu)機(jī)載傳感器、通信和激光（RASCAL）吊艙中，以提高目視測(cè)距性能。EBS 通過(guò)硬件實(shí)現(xiàn)強(qiáng)度變化檢測(cè)。這種操作理念提高了時(shí)間分辨率和動(dòng)態(tài)范圍，而且功耗低，有利于快速運(yùn)動(dòng)和低/變化的環(huán)境照明條件。SUT 的導(dǎo)航算法通過(guò)卡爾曼濾波器處理 EBS 圖像來(lái)識(shí)別特征運(yùn)動(dòng)，并輔以 IMU 數(shù)據(jù)來(lái)預(yù)測(cè)飛機(jī)的位置、速度和姿態(tài)。[參考自?專知智能防務(wù)?《基于事件傳感器的視覺(jué)慣性測(cè)距系統(tǒng)》美空軍98頁(yè)技術(shù)報(bào)告]

05 神經(jīng)形態(tài)傳感器相關(guān)公司和產(chǎn)品/

除了索尼、三星等傳感成像領(lǐng)域的巨頭之外，許多初創(chuàng)企業(yè)也積極投身神經(jīng)形態(tài)傳感領(lǐng)域。

領(lǐng)先的神經(jīng)擬態(tài)視覺(jué)傳感公司普諾飛思（Prophesee）于2023年推出業(yè)界首款專為超低功耗邊緣視覺(jué)設(shè)備集成設(shè)計(jì)的 Metavision? 事件視覺(jué)傳感器 GenX320。該新品為Prophesee第五代Metavision 傳感器產(chǎn)品。GenX320的推出將 Prophesee開(kāi)創(chuàng)性的事件視覺(jué)技術(shù)平臺(tái)的應(yīng)用范圍拓寬，擴(kuò)展至快速增長(zhǎng)的邊緣市場(chǎng)領(lǐng)域，覆蓋 AR/VR 設(shè)備、可穿戴設(shè)備、游戲、機(jī)器人、筆記本和平板電腦、物聯(lián)網(wǎng)設(shè)備等。

Voxelsensors正在開(kāi)發(fā)一種新型“攝像頭”，每個(gè)傳感器都配備了所謂的“切換像素”(Switching Pixels?)，用于捕捉掃描激光“事件”發(fā)生的時(shí)間。該傳感器可以以每秒1億次的頻率發(fā)送事件信號(hào)。與通常所說(shuō)的“事件攝像頭”不同，VoxelSensor采用了不同的工作方式，因?yàn)閂oxelSensor的設(shè)計(jì)是用來(lái)尋找掃描激光的，所以它對(duì)該激光光非常敏感，同時(shí)對(duì)其他光源則會(huì)進(jìn)行自抑制。由于激光和紅外輻射的眼部安全限制，在3D感知方面，更好的傳感器靈敏度意味著更好的范圍和分辨率。

銳思智芯公司推出的新型融合視覺(jué)傳感器，采用其獨(dú)創(chuàng)的Hybrid Vision融合視覺(jué)技術(shù)，將基于事件的視覺(jué)傳感器（EVS）和傳統(tǒng)的CIS圖像傳感器優(yōu)勢(shì)相結(jié)合。這種融合技術(shù)可以同步捕捉動(dòng)態(tài)的事件信號(hào)和靜態(tài)的圖像信號(hào)。該傳感器通過(guò)捕捉動(dòng)態(tài)的事件信號(hào)，傳感器能夠?qū)崿F(xiàn)更低的延遲、更低的功耗和更小的數(shù)據(jù)量，從而提高效率。其次，通過(guò)疊加傳統(tǒng)的圖像信號(hào)數(shù)據(jù)，可以彌補(bǔ)幀率、數(shù)據(jù)量和動(dòng)態(tài)范圍等方面的不足，完善圖像信息。這種融合技術(shù)突破了傳統(tǒng)視覺(jué)傳感器的瓶頸，能夠提供更全面的動(dòng)靜態(tài)信息捕捉能力，為各種應(yīng)用場(chǎng)景帶來(lái)更精準(zhǔn)、更有效的視覺(jué)感知體驗(yàn)

iniVation由基于事件視覺(jué)的發(fā)明者創(chuàng)立，是神經(jīng)形態(tài)視覺(jué)的先驅(qū)企業(yè)。目前已經(jīng)推出多款神經(jīng)形態(tài)視覺(jué)傳感器，目前該公司已被神經(jīng)形態(tài)計(jì)算公司SynSense收購(gòu)。

初創(chuàng)公司Oculi提出“軟件定義視覺(jué)傳感器”概念，該公司開(kāi)發(fā)出了一種視覺(jué)技術(shù)架構(gòu)，其中傳感和處理都位于像素級(jí)。該公司稱之為傳感與處理單元（Sensing and Processing Unit, SPU）。

SPU基于像素級(jí)集成的存儲(chǔ)和計(jì)算功能，類似于人眼的工作方式。每個(gè)像素都包括了傳感和數(shù)字處理功能（邏輯單元和小存儲(chǔ)單元），使傳感器像素足夠智能，能夠在檢測(cè)到感興趣的內(nèi)容時(shí)提供信息。當(dāng)然，如果應(yīng)用需要，仍然能夠提供全幀圖像輸出。用戶可以選擇不同的輸出模式，通過(guò)軟件優(yōu)化隱私、延遲和功耗。Rizk補(bǔ)充稱，對(duì)于大多數(shù)應(yīng)用，SPU的功耗為毫瓦級(jí)。

06 神經(jīng)形態(tài)與IOT 傳感器/

物聯(lián)網(wǎng)傳感器是連接物理世界與數(shù)字世界的橋梁，也是實(shí)現(xiàn)萬(wàn)物互聯(lián)、人機(jī)交互、具身智能的關(guān)鍵。傳感器是現(xiàn)實(shí)與虛擬的橋梁，人與物的接口，物聯(lián)網(wǎng)傳感器就像人類的感官，可以感知溫度、濕度、光線、聲音、壓力、運(yùn)動(dòng)等各種物理量，并將其轉(zhuǎn)換為數(shù)字信號(hào)，以便計(jì)算機(jī)系統(tǒng)進(jìn)行處理和分析。根據(jù)其感知的物理量，IOT傳感器可以分為以下幾類：

溫度傳感器：用于測(cè)量環(huán)境溫度，例如家用智能恒溫器、工業(yè)生產(chǎn)線溫度監(jiān)控等。

化學(xué)傳感器：用于檢測(cè)物質(zhì)成分，也可用于可穿戴的醫(yī)療健康設(shè)備。

濕度傳感器：用于測(cè)量環(huán)境濕度，例如智能溫室、農(nóng)業(yè)灌溉系統(tǒng)等。

光傳感器：用于測(cè)量光強(qiáng)、光譜等信息，例如智能照明系統(tǒng)、物質(zhì)識(shí)別。

視覺(jué)傳感器：用于實(shí)現(xiàn)成像和探測(cè)，比如人臉解鎖、姿態(tài)識(shí)別。

壓力傳感器：用于測(cè)量壓力，例如汽車輪胎壓力監(jiān)測(cè)系統(tǒng)、醫(yī)療設(shè)備等。

運(yùn)動(dòng)傳感器：用于檢測(cè)運(yùn)動(dòng)，例如智能安防系統(tǒng)、健身追蹤器等。

電磁傳感器：用于實(shí)現(xiàn)信號(hào)檢測(cè)、定位、流量監(jiān)測(cè)等。

聲音傳感器：用于檢測(cè)聲音，例如智能語(yǔ)音助手、噪音監(jiān)測(cè)系統(tǒng)等。

神經(jīng)形態(tài)IOT傳感器，顧名思義，是一種將神經(jīng)科學(xué)原理與物聯(lián)網(wǎng)技術(shù)相結(jié)合的傳感器。它模擬了生物神經(jīng)系統(tǒng)的運(yùn)作方式，能夠以事件驅(qū)動(dòng)的方式對(duì)外部刺激進(jìn)行感知和響應(yīng)，從而實(shí)現(xiàn)高效、低功耗的物聯(lián)網(wǎng)應(yīng)用。事件相機(jī)是一種神經(jīng)形態(tài)IOT傳感器，但是值得注意的是，IOT傳感不局限于光，而是覆蓋了力、熱、光、電、磁、聲等多物理場(chǎng)的傳感、還涉及化學(xué)、氣體等感知需求。因此對(duì)傳感提出了更多元化的需求。

物聯(lián)網(wǎng)應(yīng)用的認(rèn)知轉(zhuǎn)型使得針對(duì)單個(gè)應(yīng)用的優(yōu)化解決方案以及沉浸式技術(shù)（即虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR））的整合成為可能；這些概念改變了個(gè)人和機(jī)器人事物之間以及與物聯(lián)網(wǎng)平臺(tái)系統(tǒng)之間的交互方式。在這種情況下，VR和AR功能與數(shù)字網(wǎng)絡(luò)融合，形成一個(gè)無(wú)縫的智能設(shè)備系統(tǒng)，設(shè)備之間更強(qiáng)的協(xié)作互動(dòng)出現(xiàn)，為新的持續(xù)和環(huán)境數(shù)字體驗(yàn)奠定了基礎(chǔ)。在這一強(qiáng)交互、強(qiáng)連接的IOT nueromorphic 藍(lán)圖中，傳感器的智能化使其實(shí)現(xiàn)智能無(wú)縫連接的關(guān)鍵。

從產(chǎn)業(yè)上看，神經(jīng)形態(tài)視覺(jué)傳感目前發(fā)展最為成熟，已經(jīng)有了相關(guān)的公司和產(chǎn)品，其他IOT傳感器還相對(duì)停留在研究階段。

07 神經(jīng)形態(tài)與可穿戴健康監(jiān)測(cè)/

神經(jīng)形態(tài)傳感器在可穿戴和健康監(jiān)測(cè)領(lǐng)域也將有較大的應(yīng)用。由于傳感器在普適性和分布式網(wǎng)絡(luò)中的廣泛應(yīng)用，功耗、處理速度和系統(tǒng)適應(yīng)性對(duì)未來(lái)的智能可穿戴設(shè)備至關(guān)重要。神經(jīng)形態(tài)平臺(tái)微可穿戴傳感器提供了低功耗、低延遲、低數(shù)據(jù)量的解決方案。

北京理工大學(xué)沈國(guó)震教授課題組近日在《Nature Communications》期刊上發(fā)表題為“Neuroprosthetic contact lens enabled sensorimotor system for point-of-care monitoring and feedback of intraocular pressure”的學(xué)術(shù)論文。論文報(bào)道了一種用于眼壓即時(shí)監(jiān)測(cè)和感覺(jué)反饋的神經(jīng)形態(tài)隱形眼鏡（Ti?C?Tx-NCL），實(shí)現(xiàn)了眼壓信號(hào)的實(shí)時(shí)有效監(jiān)測(cè)，加強(qiáng)了眼睛和大腦之間的神經(jīng)傳遞。

/參考文獻(xiàn)/

[1] Zidan, M.A., Strachan, J.P. & Lu, W.D. The future of electronics based on memristive systems. Nat Electron 1, 22–29 (2018). https://doi.org/10.1038/s41928-017-0006-8

[2]Sensors 2020, 20(23), 6783; https://doi.org/10.3390/s20236783

[3]https://www.eetimes.eu/designers-guide-to-industrial-iot-sensor-systems/

[4]https://www.openpr.com/news/569466/global-iot-sensor-market-present-scenario-and-growth-prospects-2017-2022.html

[5]https://iot-analytics.com/5-iot-sensor-technologies/

[6]Howard, D., Eiben, A.E., Kennedy, D.F. et al. Evolving embodied intelligence from materials to machines. Nat Mach Intell 1, 12–19 (2019). https://doi.org/10.1038/s42256-018-0009-9

[7]Bartolozzi, C., Indiveri, G. & Donati, E. Embodied neuromorphic intelligence. Nat Commun 13, 1024 (2022). https://doi.org/10.1038/s41467-022-28487-2

[8]Cho, S.W., Jo, C., Kim, YH. et al. Progress of Materials and Devices for Neuromorphic Vision Sensors. Nano-Micro Lett. 14, 203 (2022). https://doi.org/10.1007/s40820-022-00945-y

[9]https://www.historyofinformation.com/detail.php?id=3900

[10]https://www.federicocorradi.it/index.php/research/neuromorphic-chips/

[11]VLSI Analogs of Neuronal Visual Processing: A Synthesis of Form and Function

[12]https://spectra.mathpix.com/article/2022.03.00339/event-camera-the-next-generation-of-visual-perception-system

[13]A 240 × 180 130 dB 3 μs Latency Global Shutter Spatiotemporal Vision Sensor

[14]https://rpg.ifi.uzh.ch/docs/scaramuzza/Tutorial_on_Event_Cameras_Scaramuzza.pdf

[15] https://rpg.ifi.uzh.ch/davis_data.html

[16] Zhou, Y., Fu, J., Chen, Z. et al. Computational event-driven vision sensors for in-sensor spiking neural networks. Nat Electron 6, 870–878 (2023). https://doi.org/10.1038/s41928-023-01055-2

[17] Cabriel, C., Monfort, T., Specht, C.G. et al. Event-based vision sensor for fast and dense single-molecule localization microscopy. Nat. Photon. 17, 1105–1113 (2023). https://doi.org/10.1038/s41566-023-01308-8

[18] Cabriel, C., Monfort, T., Specht, C.G. et al. Event-based vision sensor for fast and dense single-molecule localization microscopy. Nat. Photon. 17, 1105–1113 (2023). https://doi.org/10.1038/s41566-023-01308-8

[19]《基于事件傳感器的視覺(jué)慣性測(cè)距系統(tǒng)》

[20]Schuman, C.D., Kulkarni, S.R., Parsa, M. et al. Opportunities for neuromorphic computing algorithms and applications. Nat Comput Sci 2, 10–19 (2022). https://doi.org/10.1038/s43588-021-00184-y

[21]https://news.eeworld.com.cn/news/ic653975.html

[22]Liu, W., Du, Z., Duan, Z. et al. Neuroprosthetic contact lens enabled sensorimotor system for point-of-care monitoring and feedback of intraocular pressure. Nat Commun 15, 5635 (2024). https://doi.org/10.1038/s41467-024-49907-5

[23]https://www.yolegroup.com/industry-news/oculis-software-defined-vision-sensor-is-fresh-and-foreign/

[24]https://www.frontiersin.org/journals/neuroscience/articles/10.3389/fnins.2021.611300/full

[25]IOT based wearable sensor for diseases prediction and symptom analysis in healthcare sector

[26]Cognitive Hyperconnected Digital Transformation Internet of Things Intelligence Evolution, Chapter: "A Smart Tags Driven Service Platform for Enabling Ecosystems of Connected Objects"