泛跟蹤與人體全析感知

Hi~ 又見面了。

THINK?BOLD?欄目主要是我的一些階段性技術思考分享，別的地方看不到哈。

這期基于我對室內雷達人體感知的部分思考，整理成文做分享~

相對于車載領域，近幾年毫米波雷達在民用，工業(yè)領域同樣大放異彩。非車載領域的民用，工業(yè)應用相對來說更繁雜一些，這期主要聚焦于室內雷達應用。

我們知道，車載雷達感知對象主要是車，傳統(tǒng)車載雷達感知下的車輛基本認為是剛體，我們更關注的是車輛較大距離范圍內的穩(wěn)定跟蹤，從而進行相應的ADAS功能輸出，并不關心車輛自身運動細節(jié)，比如輪胎轉動等。

而室內雷達主要感知對象是人，人作為一種典型的非剛體，其雷達回波包含極其豐富的人體自身運動信息，這些信息包含人體宏觀運動信息（Macro Doppler，宏多普勒），微觀運動信息（Micro Doppler，微多普勒），以及生命體征信息（Vital Signs）。

▲ 雷達回波基帶表達式[4]

具體的，我們觀察上式，對于傳統(tǒng)車載雷達回波建模，omiga(pT0) = vt+pvT0，其中v為目標宏觀運動速度；而對于人體雷達回波，不僅包含人體宏觀運動，此時omiga(pT0) 含有 vt+pvT0，同樣omiga(pT0)也包含微觀運動信息及生命體征信息(vital signs)。

我們要做的無非是盡可能從人體雷達回波中，也就是omiga(pT0)，以及常規(guī)意義下的距離，角度中獲得足夠多的有用信息，從而實現(xiàn)人體全析。

相對于宏多普勒，微多普勒和vital signs往往更難建模，但卻包含了人體極其豐富的狀態(tài)信息，比如各類肢體活動（揮手，擺臂，手勢，踏步，搖頭等）乃至呼吸，心率變化等等。

借助雷達，我們可以從各類肢體活動信息乃至生命體征信息分析人體實時，短期乃至長期的運動健康數(shù)據(jù)，既可以實時監(jiān)控異常事件（跌倒，滯留，vital signs異常等），也可以為早期潛在疾病篩查提供長期參考數(shù)據(jù)支撐，這是一種全天時的，在不侵犯隱私條件下相對經濟的方式。這也就是室內雷達的長遠意義。

需要指出，人體全析往往依賴較高的雷達分辨率，包括距離，多普勒以及角度分辨率，可以想想為什么。

從以上分析可以得到，人體活動實際上是3種運動的疊加，簡單說就是宏運動，微運動，以及生命體征運動。站在雷達算法層面，基于毫米波雷達如何描述分析人體3種活動，尤其是統(tǒng)一得，而非割裂得討論3種運動是關鍵課題。本文拋磚引玉，嘗試在一個統(tǒng)一框架下綜合討論3種運動。

在講具體的內容之前，我們可以對一些概念做解釋性說明。

宏觀與微觀

所謂宏觀與微觀指的是雷達的宏觀感知與微觀感知，一般的，宏觀感知結果是微觀感知的基礎，微觀感知結果是宏觀感知的重要補充。舉兩個具體的例子，

如果基于高分辨雷達實現(xiàn)室內人體宏運動感知屬于宏觀目標感知，而對于人體揮手，搖頭的感知則屬于微觀感知；如果基于高分辨雷達的手臂手勢識別屬于宏觀目標感知，而對于手指手勢識別則屬于微觀目標感知。

因此，我們可以看到，

宏觀與微觀的概念是相對的；微觀感知往往提供更加豐富的目標運動細節(jié)；

過去我們可能不太關注雷達感知的宏觀與微觀，宏觀與微觀的界限并不清晰，或者完全割裂。

泛跟蹤

傳統(tǒng)的跟蹤觀念基于傳感器量測數(shù)據(jù)以及目標近似動力學模型獲得目標運動狀態(tài)量的在某一優(yōu)化準則下的最優(yōu)估計值。

比如針對傳統(tǒng)車載雷達，在上述跟蹤觀念下，實現(xiàn)車輛在各場景，全天候“穩(wěn)”, "準", "遠"的跟蹤結果已實屬不易，但對于室內人體感知，這樣的跟蹤思想遠遠不夠。

下面我嘗試引入泛跟蹤的概念。

▲ FMCW radar processing chain

泛跟蹤((Omni-Tracker，我瞎起的名字)主要由宏跟蹤(Marco Tracker)，微跟蹤(Micro Tracker)以及混合跟蹤（Multi Tracker）組成。其目的是在較長的時間尺度下，對人體活動全面跟蹤分析，從而獲得人體在姿態(tài)，生命體征等方面的短長期健康價值數(shù)據(jù)。

宏跟蹤即為傳統(tǒng)意義下的宏運動跟蹤，比如大家比較熟悉的ti reference design中提供的gtracker等。微跟蹤就要復雜的多，定義目前我也沒想好，不過微跟蹤往往由微運動以及生命體征運動所主導，并且微跟蹤是一種多層次跟蹤，以雷達高分辨為基礎。

泛跟蹤需要關注的點主要是

跟蹤融合與切換，比如實現(xiàn)人體宏運動，宏手勢，微手勢之間的無縫切換。再比如實現(xiàn)人體頭部，軀干，腿部分層跟蹤解析等。

▲?Finger?Gestures

▲?Hand?Tracking

同樣的，泛跟蹤思想同樣可以遷移至vital signs，可以構建vital signs tracker，該tracker的跟蹤對象是多樣的，比如range bin，對于FMCW radar，1d fft后需要檢索合適的range bin, 從而獲取相應phase做后續(xù)處理。注意這里我用了"合適的"一詞，什么才能算合適的range bin，距離范圍內能量最強？或者方差最大？采用某一固定準則其實都不合適，尤其當人體呈現(xiàn)明顯的擴展特性（比如壁裝雷達監(jiān)測平躺的人體），構建合適的omni-tracker可以解決該問題。

下面我們看兩個有體現(xiàn)泛跟蹤觀念的例子。

一個是BOSCH的研究案例，如下圖，BOSCH公司基于毫米波雷達給出的某種形式的泛跟蹤（當然BOSCH公司本身沒有提泛跟蹤的概念），其實思路很簡單，默認條件下毫米波雷達對人體進行宏跟蹤，當人體需要使用手勢操作時候，切換至微跟蹤，微跟蹤將跟蹤手臂手勢（也就是我們說的宏手勢(Marco Gestures)），當然BOSCH目前的研究存在的問題是，宏跟蹤到微跟蹤的切換需要特殊條件或動作，而非平滑順其自然的過渡。

另一個是Google，Google Soli項目自2015年來一直在穩(wěn)步發(fā)展，借助于AI算法，Soli Radar已經相當"聰明"，在整體宏跟蹤基礎上，Soli能夠自適應平滑判斷你的扭頭微動作，從而進行相應的人體意圖判斷，讓雷達更懂你，了解你。

小結

本質上，泛跟蹤就是一把可伸縮的標尺，過去的尺子是固定刻度的，或粗略或精細，如今我們可以探討一把可伸縮的，自適應調節(jié)刻度的尺子，從宏觀層面的統(tǒng)計感知與微觀層面的精確感知相配合，盡可能全面得描述人體活動。

這期只是初步的介紹了部分重要觀念和概念，尚未設計具體算法的探討，坦率講，這部分包括我都是在摸石頭過河，并未形成系統(tǒng)性方法論，不過整體會是這么個方向吧，所以始終保持思考與實踐，保持未來的期待吧~

作者：葉融茶歸

[參考文獻]

[1] https://atap.google.com/soli/products/.

[2] Gu C ,? Wang J ,? Lien J . Motion Sensing Using Radar: Gesture Interaction and Beyond[J]. IEEE Microwave Magazine, 2019, 20(8):44-57.

[3] Santra A ,? Ulaganathan R V ,? Finke T . Short-Range Millimetric-Wave Radar System for Occupancy Sensing Application[J]. IEEE Sensors Letters, 2018, PP(99):1-1.

[4] Patole S M ,? Torlak M ,? Dan W , et al. Automotive Radars: A review of signal processing techniques[J]. IEEE Signal Processing Magazine, 2017, 34(2):22-35.