西風 魚羊 發自 凹非寺
量子位 | 公眾號 QbitAI
就離譜！只因開了一個視訊會議，直接被騙1.8個億。
這是真真切切已經在香港發生的一場犯罪：
一家跨國公司香港分公司的財務人員，按照“CFO”的指令，給對方指定賬戶共計轉賬2億港幣（約合1.8億人民幣）。
誰曾想，這個剛剛在視訊會議裡跟自己“面對面”聊過的人，完全是Deepfake出來的！
先彆著急罵這大兄弟警惕性太低，Ta也不是沒有過一絲絲懷疑，但是，這可不是什麼詐騙界常見的一對一視訊通話——
參與會議的有好幾個熟面孔，無論是臉還是聲音，當事人描述“每個人看起來都很真實啊”。
甭管怎麼說，這事兒的驚悚程度，是有點嚇到網友們了。
藉由AI技術犯罪的話題，一時間又成為了各大平臺的討論焦點。
衝鋒在AI批評一線的馬庫斯就第一時間拉著網友們吃起了瓜：好傢伙，這是《黑鏡》降臨了。
- 深度偽造的狗屎越來越真實了。
事件始末
我們暫且稱這位被騙的財務人員為“小帥”，事情的具體經過是這樣嬸兒的……
最初，小帥收到了一封遠在英國總部的“CFO”發來的郵件。由於內容提到需要執行一項秘密交易，小帥一開始有些疑慮，並懷疑這是網路釣魚資訊。
不想，騙子立馬展開下一步動作，邀請小帥進行視訊會議。
小帥進入視訊會議後徹底被眼前的一幕唬住了：不僅公司CFO在，小帥的一些同事也在，還有一些外部人員。
關鍵是，這些假同事和小帥認識的真同事無論是模樣長相還是聲音，都別無二致。
會議中，這個假冒CFO還讓小帥做自我介紹，不過在此過程中會議突然中斷。
騙子隨後又透過即時通訊平臺、電郵、一對一視訊通話與小帥保持聯絡。
如此接連下套，小帥最終中了騙子的詭計，按照會議中的指示，分別向5個香港銀行賬戶進行了15次轉賬，總計2億港元，也就是約2560萬美元，約合RMB1.8個億。
從騙子聯絡小帥開始，整個事件大概持續了一個周，直到小帥之後向公司總部核實情況，才驚覺整個事件不過是一場精心策劃的詐騙。
之後他們報了警。警方立即展開調查，發現會議中除小帥外的所有參與者，都是騙子使用公開的個人影片和音訊片段重建的數字人。
影片中讓小帥自我介紹並不是真的在和他互動，而只是單純的用虛擬形象下達指令。
警方還透露，不法分子曾使用相同的多人視訊通話策略，試圖詐騙該公司分部的另外一名員工，總共接觸了兩到三名員工。但警方未提供有關他們遭遇的完整資訊。
目前該案還在進一步調查中，尚未對詐騙者實施逮捕。
後續在新聞釋出會上，香港警方表示已逮捕6名與此類詐騙有關的人員，且類似案件還有很多：
去年7-9月，有8張被盜的香港身份證被用於申請了90份貸款、登記了54個銀行帳戶；
至少有20次，AI Deepfake被用來模仿身份證上的人像，以騙過面部識別程式。
AI“克隆”有多猛
可以看到，整個案件中，最終讓小帥放下戒備的一大關鍵點就在於視訊會議中的假人過於真實。
那麼現在的“數字克隆人”究竟能有多真？一起來看幾個栗子。
就比如之前黴黴說中文的影片就來自一款爆火AI工具——HeyGen。
音色口型簡直完美復刻，網友看了之後都嚇得直喊媽：
HeyGen的最新技術展示中，和數字克隆人實時聊天也已成為現實。
AI語音合成方面，最近比較火的是一家叫做11Labs（ElevenLabs）的初創公司。
11Labs不僅能實現29個語種的語音生成，而且僅需短至1分鐘的音訊素材，就能很好地“克隆”任何一個人的聲音，語調、情緒變化都能模仿到位的那種。
關鍵是，現如今這些AI克隆術不僅真實度越拉越滿，門檻也在逐漸降低……
比如下面這種開源專案，已經可以分分鐘實現實時影片換臉。
專案主頁列有不少現成的不同人的面部模型，如果不喜歡還可以自己訓練模型。
“數字克隆版的你即將到來”
或許是受到這一事件和前段時間黴黴成Deepfake受害者事件的影響，上述這個實時換臉專案再獲關注，還新鮮衝上了GitHub趨勢榜。
就在這個專案的issues中，不少網友的牴觸情緒早已瀰漫多時。
但正如許多網友提到的那樣，技術沒有善惡之分。並且更現實的問題在於，開弓沒有回頭箭。
於是很多人把關注的重點，放到了“如何防禦”這件事上。
除了更多規範和政策的制定，從技術的角度來說，Nature就在“2024最值得關注的七項技術”一文中提到：
讓開發者在AI工具中加入隱形水印機制或許是一種方案。
而從個人的角度來說，提高警惕，已經成為AIGC技術爆發時代不得不面對的命題。
香港警方也在這次事件中表示，將擴大警報系統，以提前警告、阻止使用者向詐騙相關賬戶轉移資金。
不過，Deepfake假CFO騙走公司1.8個億這種事兒，多少還是有點過於離譜。
以致於不少網友提出了質疑：
- 這麼大一個公司，就沒點風險管理措施？
怕不是有內鬼吧。
那麼，你怎麼看？
參考連結：
[1]https://www.scmp.com/news/hong-kong/law-and-crime/article/3250851/everyone-looked-real-multinational-firms-hong-kong-office-loses-hk200-million-after-scammers-stage
[2]https://twitter.com/garymarcus/status/1754188331188130201
