打字不再只能用手,現在用臉部也行!
鄧 南 / 何渝婷編譯
2022-04-15 11:43

如果要在照顧剛出生嬰兒的時候工作,你會怎麼做?買一個靜音鍵盤?但靜音鍵盤大多也並沒有那麼靜音,打字時的聲音對成人來說或許並不會產生困擾,但對於小嬰兒來說卻未必如此。

如果吵醒了孩子,工作多半也不能繼續了。於是,為了能一邊帶孩子一邊工作,一位軟體工程師就決定拋棄鍵盤,改成用臉部打字,並在 YouTube 頻道「Everything Is Hacked」上展示了過程。

這個利用臉部動作來打字的鍵盤,名為「CheekyKeys」。其實這種控制鍵盤的方法也不算罕見,霍金(Stephen Hawking)生前就是通過電腦來追蹤眼球運動控制游標,利用螢幕上的鍵盤配合智慧輸入法來打字。

CheekyKeys的開發人員也曾經嘗試過類似的方式,但效率不夠高,於是決定使用現代圖像辨識技術、結合能做出不少表情的臉和摩斯電碼,加快打字的過程。

要使用CheekyKeys ,需要這些東西:電腦和鏡頭自不必說,再利用OpenCV和DLib等工具追蹤用戶臉部特定點的移動。

除了這些,用戶還需要學習一下摩斯密碼,這樣就能用點和線這種更簡便的方式來表示字母和符號。

在CheekyKeys上需要使用的參照表「cheatsheet」,包括字母、特殊字符和熱鍵,快速張開和閉上嘴巴就是表示「.(點)」,稍長一點則是「-(線)」,向上努一次嘴巴為完成一個字母,兩次為添加一個空格(結束一個單詞)。

在「cheatsheet」上,shift鍵是閉上右眼;command鍵是把左眼閉上;向上/下的箭頭需要抬起左/右邊的眉毛;如果要重複前面的字母或命令,就要把兩邊的眉毛都抬起兩次;想用escape鍵,就要先眨左眼,再眨右眼......

通過開發人員創建的這套系統,就能通過臉部的各種動作來使用鍵盤。記住系統裡的對照表是使用CheekyKeys是必不可少的準備步驟,但也不用擔心記不住,因為開發人員已經將這套系統分享在 GitHub網站上。

這樣一來,CheekyKeys就能使用OpenCV和mediapipipe的Face Mesh即時檢測影片輸入的臉部標記。

然後,通過運算相對差異來確定特定的臉部姿勢,並將其轉化為通過鍵盤發送的指令。

用CheekyKeys,不僅能打字,甚至還能用它來寫使用Python語言的程式碼,將孩子抱在懷裡,照樣能打字工作。

只不過,利用臉部鍵盤自然不如用手指打字輸入的快,但這種方法,絕對能滿足靜音的需求。

(以上圖片取自Everything Is Hacked)

本文為愛范兒授權刊登,原文標題為「不止用手才能打字,用臉也行