新智元報道
編輯:潤
【新智元導讀】香港一家跨國公司員工,被騙子邀請進了用Deepfake做的「高管視訊會議」中,下令讓他轉了2億港幣到不知名中賬戶,5天之後才發現被騙了。
這幾天,古老的AI應用——「AI換臉」多次破圈,屢屢登上熱搜。
先是網上充斥的大量泰勒斯威夫特的「AI豔照」,逼得X(原推特)只能直接遮蔽了所有有關「Tylor Swift」的搜尋。
而今天香港警方向社會公佈了一起更離譜的詐騙案件:
一家英國跨國企業的香港分公司,被騙子用偽造的「AI換臉」和AI音訊合成的影片內容,冒充總公司的CFO,直接騙走了2億港幣!
最高階的騙局,往往只需要最樸素的AI技術
據稱,這位香港分公司的員工收到了一封英國總部CFO的郵件,稱總部正在計劃一個「秘密交易」,需要將公司資金轉到幾個香港本地的賬戶中待用。
而這個員工一開始並沒有相信這封郵件的內容,認為是釣魚詐騙郵件。但是騙子不斷給他發郵件討論這個秘密交易的必要性,最終,給他撥打一個影片電話。
在電話中,這位員工看到了公司的CFO和其他他認識的「幾位同事」,大家都在一起開會。騙子還在視訊會議中要求這位員工進行自我介紹。
然後視訊會議中的「英國領導」要求他趕快進行轉賬,之後就突然中斷了影片。而信以為真的員工就分15次向5個香港本地的賬戶陸續匯款了2億港幣的資金。
而在整個事件持續5天之後,他才回過味來,向英國公司求證,最終發現被騙了。
香港警方在通報中稱,以往的「AI換臉」詐騙,一般都是一對一的。這次騙子用影片電話會議的形式,偽造了一個「高管團隊」,讓可信度大幅上升。
騙子使用Deepfake技術,透過公司的Youtube上影片和其他公開的媒體素材,就成功偽造了英國公司高管的形象和聲音。
參與視訊會議的都是真人,然後透過「AI」換臉,把騙子的臉和聲音都換成了對應的高管的臉和嗓音,下達了轉賬的指令。
而除了受騙的這一名員工之外,騙子還聯絡了另外幾位香港分公司的員工。
警方表示,整個案件還在進一步調查之中,還沒有逮捕任何嫌疑人,但是希望向公眾釋出訊息,防止騙子透過類似的手法再次得手。
警方提供了幾個方式可以幫助識別是否是「AI換臉」詐騙行為。
首先,如果對方在影片中提到錢,就一定要提高警惕。
可以要求對方快速的移動頭部和麵部,注意觀察畫面會不會出現奇怪的變形。
然後提一些只有雙方知道的問題來驗證對方的真實身份。
而銀行,對於此類的詐騙也在部署預警系統,發現使用者在與可疑的賬戶進行交易之後也會發出提醒。
國外網友看了這個事,紛紛感嘆Deepfake技術的強大:那我能deepfake我自己去開會,讓我自己能多睡一會嗎?
也有網友覺得,可能整個故事都是這個「被騙員工」編的,可能他自己也參與了這個騙局。
Deepfake的由來
Deepfake本質上是一種特殊的深度學習技術。
最初源於一個名為「deepfakes」的Reddit使用者。該使用者於2017年12月在 Reddit 社交網站上釋出了將斯嘉麗·約翰遜等女演員的換臉影片,使得「Deepfake」成為了AI「AI換臉」的代名詞。
Deepfake目前並沒有公認的統一定義。美國在其釋出的《2018年惡意偽造禁令法案》中將「deep fake」定義為「以某種方式使合理的觀察者錯誤地將其視為個人真實言語或行為的真實記錄的方式建立或更改的視聽記錄」, 其中「視聽記錄」指影象、影片和語音等數字內容。
其核心原理是利用或者卷積神經網路等演算法將目標物件的面部「嫁接」到被模仿物件上。
因為影片是連續的圖片組成,因此只需要把每一張圖片中的臉替換,就能得到變臉的新影片。
首先將模仿物件的影片逐幀轉化成大量圖片,然後將目標模仿物件面部替換成目標物件面部。
最後,將替換完成的圖片重新合成為假影片,而深度學習技術可以使這一過程實現自動化。
隨著深度學習技術的發展,自動編碼器、生成對抗網路等技術逐漸被應用到深度偽造中。
Deepfakes依賴於一種稱為自動編碼器的神經網路。它們由編碼器和解碼器組成,編碼器將影象減少到較低維的潛空間,解碼器從潛表徵中重建影象。
圖源:深度偽造的原理及實戰
Deepfakes透過使用通用編碼器將人編碼到潛在空間中來利用這種架構。潛表徵包含有關其面部特徵和身體姿勢的關鍵特徵。
然後可以使用專門針對目標訓練的模型對其進行解碼。這意味著目標的詳細資訊將疊加在原始影片的底層面部和身體特徵上,並在潛空間中表徵。
圖源:深度偽造的原理及實戰
另一種製作深度偽造品的方法是使用所謂的「生成對抗網路」(Gan)。Gan讓兩種人工智慧演算法相互競爭。
第一個演算法稱為生成器,輸入隨機噪聲並將其轉換為影象。
然後,該合成影象被新增到真實影象流(例如名人影象)中,這些影象被輸入到第二個演算法(稱為鑑別器)中。
起初,合成影象看起來一點也不像人臉。但重複這個過程無數次,並提供效能反饋,判別器和生成器都會得到改進。
如果有足夠的週期和反饋,生成器將開始生成完全不存在的名人的完全逼真的面孔。
而之前黴黴的AI不雅照在X平臺上
被瘋傳,甚至驚動了白宮的發言人。
在1月26日白宮記者會上,發言人Karine Jean-Pierre被問及此事時表示該事件令人擔憂(alarming)。
「雖然社交媒體公司在內容管理方面有自己的獨立決策,但我們認為,他們在嚴格貫徹其監管制度以防止錯誤資訊和未經本人允許的私密影象傳播方面,應起到重要作用。」
如何識別檢測偽造的影片
而對於氾濫的Deepfake內容,也有越來越多的研究在關注如何識別和檢測的技術。
論文地址:https://openaccess.thecvf.com/content/WACV2022/papers/Mazaheri_Detection_and_Localization_of_Facial_Expression_Manipulations_WACV_2022_paper.pdf
2022年由加州大學河濱分校的計算機科學家團隊開發了一種新方法來檢測深度偽造影片中被操縱的面部表情。該方法可以以高達 99% 的準確率檢測這些偽造的影片。
這個方法將檢測造假影片任務分成深度神經網路中的兩個部分。
第一個分支辨別面部表情,同時提供有關包含該表情的區域的資訊。
這些區域可以包括嘴、眼睛、前額等。
然後這些資訊被輸入到第二個分支,該分支是一個編碼器-解碼器架構,負責操作檢測和定位。
研究團隊將這個框架命名為「表達操縱檢測」(EMD),它可以檢測並定點陣圖像中已更改的特定區域。
作者稱Ghazal Mazaheri:「多工學習可以利用面部表情識別系統學到的突出特徵來有利於傳統操縱檢測系統的訓練。這種方法在面部表情操縱檢測方面取得了令人印象深刻的效能,」
研究人員在兩個具有挑戰性的面部操縱資料集上進行了實驗,他們證明EMD在面部表情操縱和身份交換方面表現更好,準確地檢測出了99%的被篡改影片。
未來,在技術和政策層面上都做出努力,才有可能將Deepfake技術的負面影響控制在合理範圍內。
參考資料:
https://t.ly/igz1v