“奶奶，我不小心撞了人，千萬(wàn)別讓爸媽知道，你快救救我！”
聽到電話那頭“孫子”的聲音，湖南的劉奶奶慌了神，立即按照對(duì)方的指示去銀行取了3萬(wàn)元現(xiàn)金，并根據(jù)約定在村口將錢親手交給了“所長(zhǎng)親戚”。
這只是“AI詐騙”的一個(gè)案件。在這個(gè)數(shù)字化浪潮洶涌的時(shí)代，AI技術(shù)宛如一把雙刃劍，在帶來(lái)便捷與創(chuàng)新的同時(shí)，也悄然為老年人埋下了新型風(fēng)險(xiǎn)隱患。隨著聲音與視頻偽造技術(shù)的門檻大幅降低，一些黑灰產(chǎn)從業(yè)者如同狡猾的獵手，瞄準(zhǔn)了老年人對(duì)新技術(shù)不熟悉、信息獲取渠道有限以及情感上容易依賴親人的弱點(diǎn)，展開了一場(chǎng)步步為營(yíng)的“圍獵”行動(dòng)。
新京報(bào)貝殼財(cái)經(jīng)記者調(diào)查發(fā)現(xiàn)，這些看似高明的騙術(shù)，實(shí)則為AI深度偽造技術(shù)支撐。針對(duì)老年人的AI“陷阱”，主要包括通過(guò)深度偽造方式偽裝成老人的親屬子女等身份，進(jìn)行錢款詐騙，以及通過(guò)AI偽造醫(yī)生、專家身份再進(jìn)行直播賣貨。他們通過(guò)精心制作的虛假宣傳視頻和文案，往往夸大產(chǎn)品功效，甚至編造出一些子虛烏有的“治愈案例”，讓老人們深信不疑。
新京報(bào)貝殼財(cái)經(jīng)記者在多個(gè)平臺(tái)上搜索發(fā)現(xiàn)，不少人對(duì)換臉/克隆聲進(jìn)行“打包出售”，價(jià)格低至1元，這在一定程度上降低了詐騙門檻。而境外平臺(tái)上的黑灰產(chǎn)從業(yè)者也提供從換聲到換臉的“一條龍服務(wù)”，標(biāo)價(jià)僅十幾元至百元不等。
北京盈科（合肥）律師事務(wù)所合伙人姜萬(wàn)東在接受新京報(bào)貝殼財(cái)經(jīng)記者采訪時(shí)表示，隨著人工智能技術(shù)越來(lái)越成熟，AI換臉已經(jīng)沒(méi)有什么難度，甚至成為一種新的商業(yè)模式。但在使用AI換臉時(shí)，必須嚴(yán)格遵守法律法規(guī)，在未經(jīng)許可前提下使用他人的照片或者聲音素材進(jìn)行換臉或換聲、在網(wǎng)上提供AI換臉或換聲服務(wù)、教程并收取費(fèi)用、使用AI合成或換臉假冒權(quán)威人士視頻等行為，可能侵犯他人肖像權(quán)、聲音權(quán)，甚至構(gòu)成刑事犯罪。
“孫子惹禍，急需用錢”，AI換聲、換臉詐騙盯上養(yǎng)老錢
“家里的老人接到一個(gè)電話，打的是老人家里的固話。說(shuō)是我兒子，據(jù)說(shuō)聲音、語(yǔ)氣一模一樣，而且還說(shuō)出了自己的名字。因?yàn)槁飞蟿偛砰_車撞人了，讓老人拿錢幫忙，還以‘不想讓爸媽知道’的理由讓老人不要告訴我們?！币晃痪W(wǎng)友分享了“假孫子”的詐騙過(guò)程，直呼“騙子太可怕了”。
這樣的詐騙往往經(jīng)過(guò)精心策劃。這名網(wǎng)友經(jīng)歷中，騙子找跑腿小哥前往家里拿錢，老人經(jīng)勸說(shuō)和報(bào)警后才反應(yīng)過(guò)來(lái)?！膀_子就是盯上八九十歲的老人對(duì)孩子的在意，而且我們的信息暴露得徹徹底底，連孩子都不知道他爺爺?shù)墓淘捥?hào)碼，騙子把聲音和語(yǔ)氣用AI模仿得非常逼真?！?/p>
貝殼財(cái)經(jīng)記者梳理爆料以及警方案例發(fā)現(xiàn)，騙子利用AI換聲、換臉冒充親友實(shí)施詐騙的對(duì)象多為老年人，套路普遍為用戶的隱私信息泄露后，詐騙分子通過(guò)AI技術(shù)偽造身份，再以類似“孫子惹禍，急需用錢”等理由向親屬、朋友特別是老人進(jìn)行詐騙。
從事互聯(lián)網(wǎng)安全的反詐專家吳明（化名）告訴貝殼財(cái)經(jīng)記者，這類詐騙手段的“起點(diǎn)”往往是用戶的隱私信息遭到了泄露，“比如有用戶在下載未知來(lái)源App時(shí)給予了手機(jī)權(quán)限，導(dǎo)致手機(jī)的通訊錄、照片、短信等數(shù)據(jù)被上傳到了詐騙分子的后臺(tái)。通過(guò)用戶泄露或在社交平臺(tái)公開分享的聲音或視頻數(shù)據(jù)，詐騙分子就可以通過(guò)AI技術(shù)偽造用戶的聲音，從而進(jìn)行詐騙?！?/p>
10月21日至26日，新京報(bào)貝殼財(cái)經(jīng)記者在國(guó)內(nèi)外的交易、社交平臺(tái)搜索發(fā)現(xiàn)，AI換臉、換聲相關(guān)服務(wù)、教程等隨處可見(jiàn)。平臺(tái)上，AI一鍵替換視頻中人物的教程，標(biāo)價(jià)低至1元。這類教程通常提供軟件或工作流的下載地址及安裝說(shuō)明，甚至有教程標(biāo)榜生成圖片、視頻沒(méi)有市面主流生成模型那么多限制，并提供“圖片去AI化”功能。至于AI聲音克隆，標(biāo)價(jià)同樣最低可至1元，針對(duì)需要現(xiàn)場(chǎng)克隆的聲音則“貴20元”。
貝殼財(cái)經(jīng)記者調(diào)查看到，不少提供視頻和聲音制作的黑灰產(chǎn)賣家，并不在意相關(guān)視頻的用途，只是根據(jù)客戶需求難度進(jìn)行明碼標(biāo)價(jià)：“換臉換聲視頻”制作以虛擬幣結(jié)算，折合人民幣463元，只換聲音約為228元，且可以“定制話術(shù)”。
個(gè)別黑灰產(chǎn)交易頻道上還兜售配合這些技術(shù)的專業(yè)詐騙軟件?！安捎梦覀兪謾C(jī)端軟件的功能，甚至可以用手機(jī)直接撥打視頻電話，可配合市面上各種換臉軟件，讓你的‘客戶’找不到破綻，你還可以拿手機(jī)隨便走動(dòng)?！庇泻诨耶a(chǎn)賣家表示。
黑灰產(chǎn)賣家宣傳信息。截圖
“假專家”出沒(méi)帶貨，80元可定制明星“代言視頻”
不少AI克隆服務(wù)或教程賣家的目標(biāo)客戶，主要是為了冒充名人直播賣貨或?qū)Ξa(chǎn)品進(jìn)行背書。此前，靳東、雷軍、張文宏等均被AI造假。
為了增加相關(guān)產(chǎn)品的可信度，一些賣家曬出了包括郭富城、鞏俐、齊秦等明星為一些公司或產(chǎn)品發(fā)表的“代言視頻”或“祝福視頻”，其中一些視頻涉及的公司和產(chǎn)品指向金融詐騙。
貝殼財(cái)經(jīng)記者以買家身份咨詢了解到，AI視頻制作服務(wù)80元起步。有提供AI數(shù)字人制作軟件的商家稱，購(gòu)買軟件可以教操作方法，明星以及張雪峰等人都可以生成。根據(jù)該商家提供的資料，購(gòu)買該軟件月卡188元，永久版288元。
交易平臺(tái)上，賣家宣稱可以自定義形象。截圖
實(shí)際上，隨著技術(shù)的進(jìn)步和開源，聲音克隆的門檻并不高。貝殼財(cái)經(jīng)記者在一個(gè)開源軟件中上傳了一段3分鐘的本人錄音，訓(xùn)練出了聲音模型，雖然效果在生成長(zhǎng)語(yǔ)句時(shí)偶有瑕疵，但對(duì)于一些較短的語(yǔ)句來(lái)說(shuō)，幾乎識(shí)別不出為合成的語(yǔ)音。
這一開源軟件的作者也在使用界面中標(biāo)注，“本軟件以MIT協(xié)議開源，作者不對(duì)軟件具備任何控制力，使用軟件者、傳播軟件導(dǎo)出的聲音者自負(fù)全責(zé)。”
10月24日，一視頻平臺(tái)相關(guān)負(fù)責(zé)人告訴貝殼財(cái)經(jīng)記者，利用AI技術(shù)進(jìn)行虛假宣傳已成為互聯(lián)網(wǎng)廣告安全治理的重要挑戰(zhàn)。為保障用戶權(quán)益，平臺(tái)制定嚴(yán)格的管控規(guī)則，如要求廣告內(nèi)容中不得含有虛構(gòu)人設(shè)，不得自稱或描述存在某某身份/姓名/職位人設(shè)，為產(chǎn)品或服務(wù)做背書。若發(fā)現(xiàn)違規(guī)問(wèn)題，將對(duì)廣告主采取限制投放、封禁賬戶甚至清退等處置。
10月26日，中國(guó)人民大學(xué)人口與發(fā)展研究中心召開“數(shù)字時(shí)代老年人短視頻使用與網(wǎng)絡(luò)安全”研討會(huì)，并聯(lián)合抖音發(fā)布《老年人短視頻健康使用指南》，涵蓋了幾類短視頻平臺(tái)上的典型欺詐案例，其中一類新型騙局是利用 AI 技術(shù)偽造老年人信任的身份，如名人、企業(yè)家、公職人員，或杜撰與養(yǎng)老金發(fā)放、家人健康、子女運(yùn)勢(shì)等相關(guān)的信息，誘導(dǎo)老年人點(diǎn)贊、關(guān)注、轉(zhuǎn)發(fā)。一旦這些賬號(hào)借“情感釣魚”積累了真實(shí)用戶互動(dòng)，便被包裝成“優(yōu)質(zhì)賬號(hào)”，進(jìn)而用于賬號(hào)倒賣或參與黑灰產(chǎn)業(yè)活動(dòng)牟利。
“使用AI合成‘假專家’或權(quán)威人士進(jìn)行帶貨或直播帶貨的行為可能觸及多項(xiàng)法律法規(guī)。根據(jù)《中華人民共和國(guó)民法典》，侵犯肖像權(quán)、聲音權(quán)，需承擔(dān)停止侵權(quán)、賠償損失等責(zé)任；根據(jù)《中華人民共和國(guó)消費(fèi)者權(quán)益保護(hù)法》，構(gòu)成欺詐的，消費(fèi)者可要求‘退一賠三’；根據(jù)《中華人民共和國(guó)刑法》，若涉及詐騙、虛假宣傳等情節(jié)嚴(yán)重的行為，可能構(gòu)成詐騙罪、虛假?gòu)V告罪等。總之，使用AI技術(shù)時(shí)，需嚴(yán)格遵守法律法規(guī)，取得授權(quán)并確保內(nèi)容合法合規(guī)。”姜萬(wàn)東告訴記者。
走出“定向”詐騙，深度偽造與檢測(cè)技術(shù)正相互博弈
貝殼財(cái)經(jīng)記者采訪基層民警、反詐專家、平臺(tái)監(jiān)管部門了解到，通過(guò)偽造老人親屬身份進(jìn)行“定向”詐騙，詐騙流程相對(duì)煩瑣、成本更高，雖然個(gè)案金額往往較大，但總體來(lái)看案件數(shù)量不及刷單、投資等詐騙案例多。
另一方面，隨著AIGC標(biāo)識(shí)新規(guī)的出臺(tái)以及視頻平臺(tái)對(duì)用戶身份核驗(yàn)流程的完善、對(duì)AI欺詐行為的打擊，AI冒充“假專家”也會(huì)更加困難。
9月1日，國(guó)家互聯(lián)網(wǎng)信息辦公室等四部門聯(lián)合發(fā)布的《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》施行，其中要求在相關(guān)平臺(tái)上上傳的視頻內(nèi)容，若使用AI制作的需添加標(biāo)識(shí)。這將讓一些“冒充專家”的AI視頻失去傳播空間。
如今，平臺(tái)能否檢測(cè)出視頻為AI生成正成為一大挑戰(zhàn)。中國(guó)信通院人工智能研究中心安全與元宇宙部主任石霖告訴貝殼財(cái)經(jīng)記者，目前深度偽造技術(shù)與檢測(cè)技術(shù)正在相互博弈，“它們就像殺毒與造毒一樣，是長(zhǎng)期攻防對(duì)抗的過(guò)程。現(xiàn)在來(lái)看，偽造的技術(shù)也確實(shí)越來(lái)越真實(shí)有效，我們從調(diào)研中發(fā)現(xiàn)，檢測(cè)技術(shù)在一定程度上可能有一定滯后性，對(duì)于新的算法需要樣本積累和過(guò)濾?！?/p>
針對(duì)“假孫子”“假專家”類騙局，海淀金融管理局發(fā)文稱，老年人應(yīng)提高警惕，采取防范措施：在接到陌生來(lái)電或視頻通話時(shí)，要仔細(xì)核實(shí)對(duì)方身份?？梢酝ㄟ^(guò)撥打親友的常用電話、視頻通話中詢問(wèn)一些私密問(wèn)題等方式進(jìn)行驗(yàn)證；不要輕易將個(gè)人信息、銀行賬戶、密碼等敏感信息透露給陌生人。同時(shí)，要定期更換密碼、開啟雙重驗(yàn)證等安全措施；對(duì)于任何承諾高收益的投資或醫(yī)療產(chǎn)品，都要保持警惕。記住“天上不會(huì)掉餡餅”，高收益往往伴隨著高風(fēng)險(xiǎn)。
“數(shù)字時(shí)代老年人短視頻使用與網(wǎng)絡(luò)安全”研討會(huì)的與會(huì)專家一致認(rèn)為，應(yīng)對(duì)風(fēng)險(xiǎn)需多管齊下，既需從老年人自身層面提升反詐意識(shí)、了解數(shù)字技術(shù)，也需從家庭層面、社會(huì)支持層面為老年人提供心理與技術(shù)雙重支持。
“老年人只有先知道AI生成技術(shù)，才能有識(shí)別AI虛擬人物的意識(shí)，從而規(guī)避不法分子利用AI虛擬形象制造的騙局?！北本〇|方老年研修學(xué)院院長(zhǎng)、北京市石景山區(qū)老年大學(xué)原校長(zhǎng)楊文霞鼓勵(lì)老年人勇于接觸網(wǎng)絡(luò)、保持終身學(xué)習(xí)。
中國(guó)人民大學(xué)人口與健康學(xué)院教授唐丹認(rèn)為，家庭仍是幫助老年人防范網(wǎng)絡(luò)風(fēng)險(xiǎn)的第一道防線，但構(gòu)建家庭防線需細(xì)水長(zhǎng)流，不能急于求成，只要老人的短視頻使用行為未對(duì)其身心健康造成實(shí)質(zhì)傷害，子女就應(yīng)當(dāng)給老人保留自由探索的空間，并在日常交流中適時(shí)進(jìn)行風(fēng)險(xiǎn)提示和技能科普。
新京報(bào)貝殼財(cái)經(jīng)記者 羅亦丹 韋英姿
編輯 王進(jìn)雨
校對(duì) 柳寶慶
