DeepFake天敵出現:用血氧機原理辨識假臉,準確率高達97%
光譜 / 何渝婷編譯
2020-10-07 18:00

(示意圖/取自pixabay)

DeepFake已不再是只有少數科研人員掌握的技術了,它被越來越多懷有不良動機的人,應用到現實生活的方方面面中,引發不必要的誤解,比如說炮製色情影片或者虛假新聞等。

最近,一篇刊登在IEEE PAMI(模式分析與機器智慧匯刊)上的論文稱,有新的方法能夠準確辨識DeepFake影片,甚至能以很高的準確率,辨識出影片採用的是哪種DeepFake算法。

這篇論文有意思之處,在於它的思路別出心裁:辨識別人臉部因心跳血流產生的微弱變化。

血管遍布人體全身,包括臉上。比如在睡覺的時候,你可能會感覺到臉部血液流動產生的輕微「跳動」感。

隨著心跳導致的血液流動,人體皮膚也會出現區域性顏色變化。常見的脈搏血氧機,其工作方式其實就是辨識這種變化。(學名叫做光體積變化描記法Photoplethysmography, 簡稱PPG。後面還會提到這個詞。)

因心跳產生的皮膚顏色變化,在人臉上同樣會出現,只是極其微弱,對肉眼不可見,在影片裡就更難看出來了。不過對影片進行特定處理,增強顏色變化的效果,肉眼就可以很明顯地觀察出來了。

你可能想問,這種方法辨識心跳準確嗎?當然準了,Apple Watch和一大堆血氧機都是採用的這種方法。它的準確率和心電圖基本吻合,如下圖所示:

三位分別來自紐約州立大學賓漢頓分校和英特爾公司的研究人員,在這篇新論文裡提出了一個重要的主張:無論是在空間層面還是時間層面上,DeepFake的假人臉都無法還原這種因血液流動造成的微弱變化。

空間層面就是臉部區域,時間層面就是心跳頻率。DeepFake的假人臉,不是體現不了這種微弱變化。在進行大量測試後,研究人員發現:DeepFake影片裡的人臉,讀取到的PPG訊號是不穩定的。

這句話的意思是:如果你對DeepFake影片進行增強,會發現血流變化產生的顏色變化,在人臉上顯示非常不自然,變化的頻率也完全不像真的心跳。

從下圖中你可以看的更清楚:四種DeepFake算法生成的影片,產生的PPG訊號都有很多「雜訊」,而真實影片的「雜訊」很少。

基於這個主張,研究人員設計了一套基於卷積神經網路(Convolutional Neural Network, CNN)的模型,命名為 FakeCatcher。

FakeCatcher從不同的DeepFake影片中提取關鍵的人臉區域 ,並讀取PPG訊號,將兩者組合成一個時空模塊(稱為一個PPG 元素)。再對PPG元素進行學習,最終就可以給出答案了。

在Face Forensics++、CelebDF等常用的假臉數據集上,Fake Catcher的準確率能夠超過90%。

更厲害的是,FakeCatcher不光能認出影片的真假,還能準確辨識出,假影片用的是哪種 DeepFake 算法——這是因為每種算法的殘差效果的雜訊都有足夠明顯的特種。研究人員透露,他們在 DeepFakes、Face2Face、FaceSwap和NeuralTex四種主流算法上的辨識準確率,整體超過了93%。

研究人員認為,這篇論文中提出的PPG訊號辨識思路,對於 DeepFake的辨識和偵測能夠開啓一個全新的方向。

接下來,他們打算訓練一個更複雜的模型,同時對真實影片和DeepFake影片的PPG訊號進行訓練。

所謂魔高一尺道高一丈,趕在DeepFake算法被大肆濫用之前,堵住他們的路,讓他們無路可走。

本文為品玩授權刊登,原文標題為「DeepFake天敵出現:用血氧儀原理識別假臉,準確率高達97%