（示意圖/取自pixabay）
視訊會議對所有人開放，那也應該包括使用手語進行交流的用戶，但由於大多數視訊會議系統，會自動追蹤講話人提示窗口，對於手語交流者而言，他們卻很難輕鬆有效地進行溝通。
因此，在視訊會議中採用即時手語檢測的場景變得十分有挑戰性，系統需要使用大量視訊回饋，作為輸入進行分類，這使得任務運算變得十分繁重。某種程度上，這些挑戰的存在也導致有關手語檢測的研究很少。
近日在ECCV 2020和SLRTP 2020全球頂會上，谷歌的研究團隊提出了一個即時手語檢測模型，並詳述了該模型將如何用於即時會議系統中，辨識「發言人」的過程。
1、設計思路
為了主動適配主流視訊會議系統所提供的會議解決方案，研究團隊採取了一種輕量型、即插即用的模型。該模型佔用CPU小，以最大程度降低對客戶端通話品質的影響。
為了減少輸入的空間，採用從視訊中分離所需資訊，對每個幀進行分類。
「由於手語涉及用戶的身體和手兩部分，我們先運行了人體姿態估計模型PoseNet，這樣可將輸入從整個高清圖像，大幅分減到用戶身體上的一小部分，如眼睛、鼻子、肩膀、手等關鍵特徵點（landmarks)。
然後，我們再將這些關鍵特徵點，用於計算每一幀光流(Optical Flow)，從而在不保留用戶特定資訊的前提下，就能量化用戶的姿態特徵。每個姿態都通過人肩膀寬度進行歸一化，以確保模型在距離鏡頭一定距離內，注意到用戶的手勢。最後，將光流通過視訊的幀速率進行歸一化，再傳遞給該模型。」
為了測試這種方法的有效性，研究團隊採用了德語手語語料庫（DGS），該語料庫包含人體手勢的長影音（含跨度注釋）。基於訓練好的線性回歸模型基線，使用光流數預測人體手勢何時發出。該模型基線可達到80%的準確度，每一幀僅需要約3μs（0.000003秒）的處理時間即可完成。通過將前50個幀的光流作為該模型的上下文，最終達到83.4%的準確度。
團隊使用了長短期記憶網路（LSTM）架構，該模型可實現的91.5%的準確度，每一幀的處理時間約為3.5毫秒（0.0035秒）。
2、概念驗證
在實際的場景中，有了運行完備的手語檢測模型僅是第一步，團隊還需要設計一種方法，來出發視訊會議系統的主動式揚聲器功能。團隊開發了一款輕量級的線上手語檢測演示demo，可以連接到任何視訊會議系統上，並將手語交流者設置為「發言人」。
當手勢檢測模型確定用戶正在進行手語交流時，它會通過虛擬音頻電纜傳遞超聲音頻，任何視訊會議系統都可檢測到該音頻，就好像手語交流者正在「講話」一樣。音頻以20kHz傳輸，通常在人類聽覺範圍之外。因為視訊會議系統，通常將音頻的音量作為檢測是否正在講話的標準，而不是檢測語音，所以應用程式會誤以為手語交流者正在講話。
目前這款模型的線上影片演示程式碼，已經公布在GitHub上。
GitHub傳送門：https://github.com/AmitMY/sign-language-detector
3、演示過程
在影片中，研究團隊演示了如何使用該模型。
影片中的黃色圖表，反映了模型在檢測到手語交流時的確認值。當用戶使用手語時，圖表值將增加到接近100，當用戶停止使用手語時，圖表值將降低至0。
為了進一步驗證該模型效果，團隊還進行了一項用戶體驗回饋調查。調研要求參與者在視訊會議期間使用該模型，並像往常一樣進行手語交流。他們還被要求互相使用手語，以檢測對說話人的切換功能。回饋結果是，該模型檢測到了手語，將其辨識為可聽見的語音，並成功辨識了手勢參與人。
總結
從目前來看，此次嘗試的出發點及過程中，採用一系列方法的可操作性，均本著場景落地為出發點，儘管從實際應用中，可能還會出現更多意想不到的海量用戶需求，如不同國家地區的手語存在巨大差異等問題，如何將這些能力抽象出來滿足更多的人群，將是接下來對這項工作，能在商業環境中真正落地需要積極思考的方向。
本文為雷鋒網授權刊登，原文標題為「谷歌新研究：讓失語者在視頻會議中用手語自然交流！」