(映維網(wǎng) 2019年08月20日)感知手部形狀和手部運(yùn)動(dòng)的能力可以改善各個(gè)技術(shù)領(lǐng)域和平臺(tái)的用戶體驗(yàn)。例如，它可以形成手語理解和手勢(shì)控制的基礎(chǔ)，并且可以在增強(qiáng)現(xiàn)實(shí)情景中實(shí)現(xiàn)物理世界的數(shù)字內(nèi)容與信息疊加。盡管這對(duì)人類而言十分自然，但由于經(jīng)常出現(xiàn)遮擋情況(如手指/手掌遮擋和手抖)和缺乏高對(duì)比圖案，穩(wěn)定的實(shí)時(shí)手部感知是一項(xiàng)極具挑戰(zhàn)性的計(jì)算機(jī)視覺任務(wù)。

　　谷歌近期發(fā)布了一種用于手部感知的全新方法。實(shí)際上，谷歌已于六月的CVPR 2019大會(huì)進(jìn)行過預(yù)覽，而這項(xiàng)技術(shù)是在MediaPipe中實(shí)現(xiàn)(一個(gè)開源的跨平臺(tái)框架，主要用于構(gòu)建處理不同模態(tài)感知數(shù)據(jù)的管道，如視頻和音頻)。這種方法通過機(jī)器學(xué)習(xí)從單幀推斷出手部的21個(gè)3D關(guān)鍵點(diǎn)，從而提供高保真度的手部和手指追蹤。目前最先進(jìn)的方法主要依靠強(qiáng)大的桌面環(huán)境進(jìn)行推導(dǎo)，但谷歌的方法可以為手機(jī)端帶來實(shí)時(shí)性能，甚至可以擴(kuò)展到多手用例。谷歌表示：“通過為更廣泛的研究和開發(fā)社區(qū)提供這種手部感知功能，我們希望這可以帶來更具創(chuàng)造性用例出現(xiàn)，并刺激新的應(yīng)用程序和新的研究途徑。”

　　1. 一種用于手部追蹤和手勢(shì)識(shí)別的機(jī)器學(xué)習(xí)管道

　　谷歌的手部追蹤解決方案利用了由多個(gè)模型組成的機(jī)器學(xué)習(xí)管道：

　　手掌檢測(cè)器模型(名為BlazePalm)：對(duì)整個(gè)圖像進(jìn)行操作，并返回定向手部邊界框。

　　手部界標(biāo)模型：在由手掌檢測(cè)器定義的裁剪圖像區(qū)域操作，并返回高保真度的3D手部關(guān)鍵點(diǎn)。

　　手勢(shì)識(shí)別器：將先前計(jì)算的關(guān)鍵點(diǎn)配置分類為一組離散手勢(shì)。

　　這個(gè)架構(gòu)類似于谷歌最近發(fā)布的面部網(wǎng)格機(jī)器學(xué)習(xí)管道，以及其他已用于姿態(tài)估計(jì)的架構(gòu)。將準(zhǔn)確裁剪的手掌圖像提供給手部界標(biāo)模型可以大大減少對(duì)數(shù)據(jù)增強(qiáng)(如旋轉(zhuǎn)，平移和縮放)的需要，并允許網(wǎng)絡(luò)將大部分容量專門用于坐標(biāo)預(yù)測(cè)精度。

　　2. BlazePalm：實(shí)時(shí)手部/手掌檢測(cè)

　　為了檢測(cè)初始手部位置，谷歌采用了名為BlazePalm的單攝檢測(cè)器模型，并以類似于BlazeFace的方式針對(duì)移動(dòng)實(shí)時(shí)用例進(jìn)行了優(yōu)化。檢測(cè)手部是一項(xiàng)非常復(fù)雜的任務(wù)：模型必須支持各種手部尺寸，具有相對(duì)于圖像幀的大范圍跨度(約20×)，并且能夠檢測(cè)被遮擋的雙手和自我遮擋的雙手。面部具有高對(duì)比圖案(如在眼睛和嘴部區(qū)域)，手部則缺少這一點(diǎn)，所以難以單單根據(jù)視覺特征進(jìn)行可靠地檢測(cè)。所以，通過提供諸如手臂，身體或人物特征等額外的情景信息有助于實(shí)現(xiàn)精確的的手部定位。

　　谷歌的解決方案采用不同的策略來解決上述挑戰(zhàn)。首先，谷歌不是訓(xùn)練手部檢測(cè)器，而是訓(xùn)練手掌檢測(cè)器，因?yàn)楣烙?jì)諸如手掌和拳頭等剛性對(duì)象的邊界框比具有手指關(guān)節(jié)的手部要簡(jiǎn)單得多。另外，由于手掌是較小的對(duì)象，非最大抑制算法甚至很好地支持雙手自遮擋情況(如握手)。再者，手掌可以使用方形邊界框(機(jī)器學(xué)習(xí)用“錨”進(jìn)行描述)來進(jìn)行模擬，并忽略其他縱橫比，所以能夠?qū)㈠^的數(shù)量減少3倍-5倍。其次，編碼器 – 解碼器特征提取器可用于大型場(chǎng)景情景感知，同時(shí)可用于小型對(duì)象(類似于RetinaNet方法)。最后，谷歌將訓(xùn)練期間的Focal Loss降至最低，從而能夠支持由于大尺度方差導(dǎo)致的大量錨點(diǎn)。

　　通過上述技術(shù)，谷歌在手掌檢測(cè)中實(shí)現(xiàn)了95.7%的平均精度。利用常規(guī)Cross Entropy Loss并且沒有解碼器的情況下只能實(shí)現(xiàn)86.22%的基線。

　　3. 手部界標(biāo)模型

　　在對(duì)整個(gè)圖像進(jìn)行手掌檢測(cè)之后，手部界標(biāo)模型將通過回歸(即直接坐標(biāo)預(yù)測(cè))在檢測(cè)到的手部區(qū)域內(nèi)執(zhí)行21個(gè)3D手關(guān)節(jié)坐標(biāo)的精確關(guān)鍵點(diǎn)定位。這個(gè)模型學(xué)習(xí)一致的固有手姿勢(shì)表現(xiàn)，并且能夠穩(wěn)定支持部分可見的手部和自我遮擋情形。

　　為了獲得ground truth數(shù)據(jù)，谷歌手動(dòng)注釋了具有21個(gè)3D坐標(biāo)的大約30000張真實(shí)世界圖像，如下所示(如果存在于每個(gè)相應(yīng)的坐標(biāo)，谷歌將從圖像深度圖中獲取Z值)。為了更好地覆蓋可能的手勢(shì)，并對(duì)手部幾何形狀的性質(zhì)提供額外的監(jiān)督，谷歌同時(shí)在各種背景下渲染高質(zhì)量的合成手部模型，并將其映射到相應(yīng)的3D坐標(biāo)。

　　然而，純粹的合成數(shù)據(jù)難以擴(kuò)展至in-the-wild領(lǐng)域。為了克服這個(gè)問題，谷歌采用了混合訓(xùn)練模式。下圖是一個(gè)High-Level模型訓(xùn)練圖例。

　　下表總結(jié)了回歸準(zhǔn)確性，具體取決于訓(xùn)練數(shù)據(jù)的性質(zhì)。利用合成數(shù)據(jù)和現(xiàn)實(shí)世界數(shù)據(jù)可顯著提升性能表現(xiàn)。

　　Dataset Mean regression error

　　normalized by palm size

　　field1 field2

　　Only real-world 16.1 %

　　Only rendered synthetic 25.7 %

　　Mixed real-world + synthetic 13.4 %

　　4. 手勢(shì)識(shí)別

　　緊接著預(yù)測(cè)的手部骨骼，谷歌應(yīng)用了一個(gè)簡(jiǎn)單的算法來推導(dǎo)手勢(shì)。首先，預(yù)計(jì)每個(gè)手指的狀態(tài)，如彎曲或筆直，而這由關(guān)節(jié)的累積角度決定。然后，谷歌將手指狀態(tài)集映射到一組預(yù)定義的手勢(shì)。這種簡(jiǎn)單而有效的技術(shù)使得研究人員能夠以合理的質(zhì)量估計(jì)基本的靜態(tài)手勢(shì)�，F(xiàn)有的管道支持計(jì)算來自多種文化的手勢(shì)，如美國，歐洲和中國，包括“豎起大拇指”，握拳，“OK”，“金屬禮”和“蜘蛛俠”。

　　5. MediaPipe示例

　　利用MediaPipe，這個(gè)感知管道可以構(gòu)建為模塊化組件的有向圖：Calculators。Mediapipe附帶一組可擴(kuò)展的Calculators，可應(yīng)對(duì)各種設(shè)備和平臺(tái)的模型推理，媒體內(nèi)容處理算法和數(shù)據(jù)轉(zhuǎn)換等任務(wù)。諸如裁剪，渲染和神經(jīng)網(wǎng)絡(luò)計(jì)算等單獨(dú)的Calculator可專由GPU執(zhí)行。例如，谷歌為大多數(shù)現(xiàn)代手機(jī)應(yīng)用TFLite GPU推理。

　　谷歌用于手部追蹤的MediaPipe圖如下所示。這個(gè)MediaPipe圖由兩個(gè)子圖組成：一個(gè)用于手部檢測(cè)，一個(gè)用于手部關(guān)鍵點(diǎn)計(jì)算。MediaPipe提供的一個(gè)關(guān)鍵優(yōu)化是，手掌檢測(cè)器僅在必要時(shí)(相當(dāng)不頻繁)運(yùn)行，從而節(jié)省了大量的計(jì)算時(shí)間。谷歌是根據(jù)當(dāng)前幀計(jì)算的手部關(guān)鍵點(diǎn)推斷后續(xù)視頻幀中的手部位置，從而消除了在每個(gè)幀運(yùn)行手掌檢測(cè)器的需要。為了實(shí)現(xiàn)魯棒性，手部追蹤器模型輸出一個(gè)額外的標(biāo)量，所述的標(biāo)量捕獲手部在輸入裁剪中存在并合理對(duì)齊的置信度。只有當(dāng)置信度低于某個(gè)閾值時(shí)，手部檢測(cè)模型才會(huì)重新應(yīng)用于整個(gè)幀。

　　高效的機(jī)器學(xué)習(xí)解決方案可以實(shí)時(shí)運(yùn)行，并且可以支持各種不同的平臺(tái)和形狀參數(shù)。所以，谷歌將通過MediaPipe框架開源上述手部追蹤和手勢(shì)識(shí)別管道，并附帶相關(guān)的端到端使用場(chǎng)景和源代碼。這可以為研究人員和開發(fā)者提供完整的堆棧，并根據(jù)谷歌的模型對(duì)新想法進(jìn)行實(shí)驗(yàn)和原型設(shè)計(jì)。

　　6. 未來計(jì)劃

　　谷歌計(jì)劃通過更強(qiáng)大和更穩(wěn)定的追蹤來擴(kuò)展這項(xiàng)技術(shù)，擴(kuò)大能夠可靠檢測(cè)的手勢(shì)量，并支持動(dòng)態(tài)手勢(shì)及時(shí)展開等等。這家公司表示：“我們相信，開源這項(xiàng)技術(shù)可以推動(dòng)研究社區(qū)和開發(fā)者社區(qū)實(shí)現(xiàn)新的創(chuàng)意和應(yīng)用，而我們非常期待看到你的作品成果。”