高速全局快門圖像傳感器如何減輕基于AI的視覺(jué)系統(tǒng)的負(fù)擔(dān)

視覺(jué)傳感器對(duì)于數(shù)據(jù)采集正變得越來(lái)越重要。

最初的簡(jiǎn)單圖像傳感器為攝影應(yīng)用開(kāi)發(fā)，如今的圖像傳感器用于向人工智能(AI)和機(jī)器學(xué)習(xí)系統(tǒng)提供高質(zhì)量的輸入。

這些系統(tǒng)已成為利用新的和創(chuàng)新的處理器架構(gòu)的精密決策實(shí)體。

邊緣數(shù)據(jù)采集

盡管邊緣數(shù)據(jù)采集器件本質(zhì)上主要是模擬的，但是圖像傳感器的獨(dú)特之處在于：

它們的輸出在連續(xù)的動(dòng)態(tài)光學(xué)輸入上進(jìn)行時(shí)分復(fù)用

它們需要有能力在輸出時(shí)保持轉(zhuǎn)換后的光輸入的完整性來(lái)提供圖像輸出

提供的圖像輸出具有最佳質(zhì)量，支持重要的處理

這些要求和隨后的結(jié)果可能會(huì)對(duì)視覺(jué)系統(tǒng)做出的決策的準(zhǔn)確性產(chǎn)生重大影響，而這一結(jié)果定義了整個(gè)自動(dòng)化系統(tǒng)的安全性、可靠性和收益率。

基于機(jī)器學(xué)習(xí)的視覺(jué)系統(tǒng)

機(jī)器學(xué)習(xí)的出現(xiàn)推動(dòng)了圖像傳感器的創(chuàng)新，其性能水平得到了提高，可以支持各種應(yīng)用。視覺(jué)輸入是高保真數(shù)據(jù)–您所看到的就是輸入到系統(tǒng)中的信息。

如今，AI 算法能夠檢測(cè)、識(shí)別和分類這些輸入并生成準(zhǔn)確的決策輸出。這些輸出的可靠性取決于輸入的質(zhì)量及其算法的準(zhǔn)確性，以及處理這些算法的神經(jīng)網(wǎng)絡(luò)。

基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的視覺(jué)系統(tǒng)主要使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)算法來(lái)創(chuàng)建功能強(qiáng)大的自動(dòng)識(shí)別專家系統(tǒng)。

在這些系統(tǒng)中，增加 CNN 層的深度會(huì)提高推理的準(zhǔn)確性，但是更多的層也會(huì)對(duì)這些網(wǎng)絡(luò)在訓(xùn)練階段學(xué)習(xí)所花費(fèi)的時(shí)間以及系統(tǒng)完成推斷的延遲產(chǎn)生不利影響 (不要忘了過(guò)擬合也會(huì)影響結(jié)果和功耗)。

同樣，高質(zhì)量的圖像輸出使視覺(jué)系統(tǒng)能夠攜帶最少的 CNN 圖層集，但還能產(chǎn)生高度準(zhǔn)確的推斷。在以低成本和小尺寸獲得可快速部署的智能系統(tǒng)的同時(shí)，還實(shí)現(xiàn)高性能和低功耗，這帶來(lái)了顯著的好處。

典型的卷積神經(jīng)網(wǎng)絡(luò)(CNN)

深度學(xué)習(xí)算法如 CNN 資源極其密集。如今，有各種處理引擎，包括 CPU、GPU、FPGA、專用加速器和最新的微控制器。

設(shè)計(jì)基于 CNN 的視覺(jué)系統(tǒng)還需要強(qiáng)大的優(yōu)化庫(kù)支持。涵蓋從專有(如 MVTec 的 HALCON＆MERLIC，MATLAB 的深度學(xué)習(xí)工具箱或 Cognex 的 ViDi)到標(biāo)準(zhǔn)工具(如 OpenCV)以及軟硬件的整合功能。

這些選擇直接關(guān)系到產(chǎn)品的上市時(shí)間。資源密集型處理器通常需要更大的外形尺寸，如散熱器的功耗附加組件，或者僅需要較大的空閑空間以通過(guò)對(duì)流來(lái)耗散功率。

提供高質(zhì)量輸出的圖像傳感器可無(wú)需昂貴的處理器、昂貴的第三方庫(kù)和 / 或新庫(kù)的創(chuàng)建需求，以及最佳地結(jié)合硬件和軟件資源所需的昂貴工具。

換句話說(shuō)，這些傳感器極大地降低了總擁有成本(TCO)，并增加了在各種應(yīng)用和市場(chǎng)中的采用率。

圖像傳感器輸入到機(jī)器學(xué)習(xí)系統(tǒng)

對(duì)傳遞到 CNN 層的圖像傳感器輸出有相當(dāng)高的要求，包括：

全局快門可以捕獲場(chǎng)景并保留場(chǎng)景以最小化運(yùn)動(dòng)偽影

高全局快門效率，以確保每個(gè)像素中保留的場(chǎng)景不會(huì)被該像素光路之外的光輸入破壞

足夠大的像素尺寸，即使在充滿挑戰(zhàn)的光線條件下也能支持好的圖像質(zhì)量

圖像輸出中的總噪聲低，以確保高完整性輸入

在運(yùn)行和待機(jī)狀態(tài)下低功耗，應(yīng)對(duì)以對(duì)流傳熱為常態(tài)的攝像系統(tǒng)的典型挑戰(zhàn)。

這些特性取決于像素架構(gòu)和相關(guān)電路徑的設(shè)計(jì)。CMOS 圖像傳感器的結(jié)構(gòu)和設(shè)計(jì)如 AR0234CS 滿足這些需求，非常適合基于 CNN 的視覺(jué)系統(tǒng)。

高速接口賦能快速系統(tǒng)

像素的質(zhì)量可能極佳，且經(jīng)過(guò)精心設(shè)計(jì)以生成高質(zhì)量的圖像，但是由于帶寬限制，整個(gè)視覺(jué)系統(tǒng)可能仍會(huì)出現(xiàn)性能不佳的情況。當(dāng)今的傳感器都配備了 SerDes 接口，但是這些接口的流量數(shù)據(jù)速率會(huì)影響整個(gè)系統(tǒng)的質(zhì)量。

高幀速率要求這些接口以高速傳輸圖像數(shù)據(jù)。同樣，傳感器必須為每幀輸出(fps/mW)消耗低功耗。這些特性支持將系統(tǒng)定時(shí)和功率預(yù)算轉(zhuǎn)移到最需要的地方 - 處理引擎 - 可以合并最新的神經(jīng)網(wǎng)絡(luò)和復(fù)雜算法。

這使圖像處理器能夠提取圖像數(shù)據(jù)中的細(xì)微差別，這些差別可能是應(yīng)用的重要內(nèi)容。視覺(jué)系統(tǒng)開(kāi)發(fā)人員因此可以使其系統(tǒng)方案在競(jìng)爭(zhēng)中脫穎而出。

AR0234CS?230 萬(wàn)像素 CMOS 圖像傳感器

AR0234CS 230 萬(wàn)像素 CMOS 圖像傳感器具備高數(shù)據(jù)速率 MIPI 接口，非常適合基于 AI 的視覺(jué)系統(tǒng)。加上它高幀速率、低功耗全幀速率和全分辨率，視覺(jué)系統(tǒng)開(kāi)發(fā)人員可以將大部分時(shí)間和功耗預(yù)算分配給處理器。