央廣網(wǎng)北京7月10日消息(記者劉經(jīng)宇)7月3日，一名擁有670余萬(wàn)粉絲的網(wǎng)紅女主播陳嵐發(fā)布視頻稱，她遭遇了惡意Ps和AI換臉，照片被人做成了色情照片和視頻，并在網(wǎng)上公開(kāi)出售。

(資料圖片僅供參考)

陳嵐說(shuō)，她本想搜集相關(guān)證據(jù)，找出根源，又不想太聲張，但隨著評(píng)論區(qū)越來(lái)越多人“造謠”，她打算報(bào)警。

近日，記者調(diào)查發(fā)現(xiàn)，不少賬號(hào)在社交平臺(tái)出售明星、網(wǎng)紅換臉的色情照片和視頻，超百部視頻售價(jià)僅幾十元。賣家出售換臉的色情素材主要分為兩種模式，一種是利用明星的公開(kāi)照片“去衣”；另一種是把明星的臉換到色情圖片和視頻中。在多個(gè)電商平臺(tái)，不少商家在線出售AI繪圖軟件，并號(hào)稱此類軟件可以提供“去衣”功能，該軟件售價(jià)僅十幾元。

實(shí)際上，“AI換臉”不僅能制作色情照片和視頻，可能還被人用來(lái)詐騙。6月25日，全國(guó)人大常委會(huì)法制工作委員會(huì)舉行記者會(huì)，發(fā)言人臧鐵偉表示，利用“AI換臉”技術(shù)實(shí)施詐騙是一種新型的電信網(wǎng)絡(luò)詐騙，需要廣大群眾提高識(shí)騙防騙意識(shí)，也需要有關(guān)部門依法加強(qiáng)治理和執(zhí)法，追究相關(guān)人員法律責(zé)任。

公開(kāi)叫賣換臉的色情視頻

除女主播陳嵐外，擁有400多萬(wàn)粉絲的網(wǎng)紅女主播杜悅也遇到類似情況。

據(jù)杜悅介紹，半年前，很多粉絲在她短視頻的評(píng)論區(qū)留言，說(shuō)他們都看過(guò)杜悅的“色情視頻”。

“當(dāng)時(shí)沒(méi)多想，我認(rèn)為清者自清，畢竟這個(gè)‘謠言’總會(huì)過(guò)去。”杜悅說(shuō)，直到有天她的一位朋友轉(zhuǎn)來(lái)一段色情視頻，女主角正是自己的模樣，她才意識(shí)到遭遇了惡意“換臉”。

杜悅說(shuō)，為證明自己清白，她開(kāi)始搜集相關(guān)證據(jù)，想找到根源。“最后我發(fā)現(xiàn)有人在境外社交平臺(tái)上冒用身份注冊(cè)了賬號(hào)，然后‘搬運(yùn)’到國(guó)內(nèi)視頻平臺(tái)上發(fā)布，等到賬號(hào)有一定粉絲后，就開(kāi)始售賣換臉后的色情視頻。”

杜悅提供的一張價(jià)格表顯示，里面涉及數(shù)百名網(wǎng)紅，還按照粉絲量級(jí)做了區(qū)分，從50萬(wàn)粉絲以下到1000萬(wàn)粉絲以上，對(duì)應(yīng)的換臉色情視頻售價(jià)在30元到50元不等。此外，表格中還有眾多女明星。該表格的發(fā)布者稱，“200元可以進(jìn)群，進(jìn)群后私人定制，永久半價(jià)。”

記者調(diào)查發(fā)現(xiàn)，在一些社交平臺(tái)上，很多賬號(hào)宣稱自己可出售網(wǎng)紅和明星的換臉色情素材，通過(guò)這種方式引流到QQ上進(jìn)行交易。

按照杜悅提供的線索，記者添加了一名賣家的QQ好友，對(duì)方直接發(fā)來(lái)一張截圖，圖片上貼有幾十位女明星色情圖片。

該賣家稱，自己擁有80多位明星、一萬(wàn)五千余張圖片。如果全部購(gòu)買，僅售價(jià)60元，還贈(zèng)送23部視頻，此后還能享受一次免費(fèi)更新。賣家還稱，如果購(gòu)買單個(gè)明星的換臉圖片，則根據(jù)照片的數(shù)量收費(fèi)，5元錢能購(gòu)買300張照片。

有賣家稱60元可購(gòu)買多位明星的換臉色情素材(記者截圖)

此外，還有賣家表示，根據(jù)買家需求，他可以專門制作指定某位明星和網(wǎng)紅的色情素材。

支付60元后，一名賣家發(fā)來(lái)數(shù)十個(gè)壓縮包，均以明星姓名命名。記者發(fā)現(xiàn)，該賣家出售的變臉色情素材主要分為兩種模式，一種是利用明星的公開(kāi)照片“去衣”，另一種則是將這些明星的臉換到色情圖片和視頻中。

北京藍(lán)鵬律師事務(wù)所主任張起淮曾代理多起“AI換臉”相關(guān)案件。在他看來(lái)，“AI換臉”本應(yīng)是幫助廣告、電影、藝術(shù)等方面進(jìn)行適當(dāng)修復(fù)，這本是一項(xiàng)很好的技術(shù)，但現(xiàn)在很多人開(kāi)始利用這一技術(shù)進(jìn)行非法牟利。

張起淮表示，利用他人的肖像進(jìn)行換臉，涉嫌侵犯當(dāng)事人的肖像權(quán)、名譽(yù)權(quán)、榮譽(yù)權(quán)和人格權(quán)。如果將當(dāng)事人的臉制作成色情視頻并出售，這種情況下可能構(gòu)成刑事犯罪。

“AI換臉”背后的生意經(jīng)

近日，記者在多個(gè)電商平臺(tái)上搜索“AI換臉”關(guān)鍵詞，均已無(wú)法顯示。但是，記者搜索“智能合成、明星”“真人臉部模型訓(xùn)練”“去衣AI”等關(guān)鍵詞，仍舊可以搜到在售商品。

一款“AI繪圖軟件”的產(chǎn)品頁(yè)明確標(biāo)注，“該軟件可實(shí)現(xiàn)真人轉(zhuǎn)卡通功能、換頭和換衣功能”。這款軟件售價(jià)僅需16.66元，月銷量達(dá)到200以上。

“可以真實(shí)‘去衣’？”有人在該店鋪評(píng)論區(qū)提出疑問(wèn)，多人回復(fù)稱可以。此外，有人還詢問(wèn)是否能生產(chǎn)色情圖片，有人回復(fù)稱，“只要購(gòu)買軟件進(jìn)入買家交流群即可，什么功能都有。”

在某AI繪圖軟件的問(wèn)答區(qū)，有人回復(fù)稱該軟件確有“去衣”功能。(記者截圖)

記者進(jìn)入“買家交流群”后，僅兩天時(shí)間，群成員便從40人迅速增長(zhǎng)至150人，大多成員在群內(nèi)交流該軟件如何使用，還不時(shí)分享自己的“作品”。

有成員在群里詢問(wèn)，是否有人愿意接單，制作“定制圖”。“這玩意不是犯法嗎？”有人在群里反問(wèn)，對(duì)方則表示“富貴險(xiǎn)中求”。

除了出售繪圖軟件，還有商家提供“真人模型代訓(xùn)練”，這是利用真人的照片或視頻生產(chǎn)，訓(xùn)練結(jié)束后，便可以直接利用該模型生成對(duì)應(yīng)的照片和視頻，達(dá)到換臉效果。

一名提供代訓(xùn)練服務(wù)的商家告訴記者，只需提供20至30張照片，盡量以臉部特寫(xiě)為主，2個(gè)多小時(shí)便可完成訓(xùn)練。然后，買家將數(shù)據(jù)導(dǎo)入某軟件內(nèi)，便可以生成想要的素材。

該商家向記者發(fā)來(lái)一張效果圖，這是利用國(guó)內(nèi)一名模特真實(shí)照片生產(chǎn)的效果圖，經(jīng)過(guò)換臉后，臉部和國(guó)內(nèi)某明星相似度極高。

上述商家表示，在模型訓(xùn)練完成后，買家可以根據(jù)自己訴求生成各種照片，包括“去衣”素材，但云端禁止“去衣”操作，需要自己在電腦上操作才行。

“AI換臉”騙局

商家售賣“作案工具”的背后，還有人利用“AI換臉”技術(shù)進(jìn)行詐騙。

張起淮告訴記者，他曾經(jīng)代理過(guò)多起發(fā)生在緬北的跨國(guó)敲詐勒索案。這個(gè)案件中的犯罪嫌疑人便是利用“AI換臉”技術(shù)，偽裝成女性，誘導(dǎo)受害人與其“裸聊”。隨后便以雙方的視頻錄屏內(nèi)容為證據(jù)，對(duì)受害人進(jìn)行敲詐勒索。

近日，中國(guó)銀河證券發(fā)布公告稱：利用“AI合成技術(shù)”的詐騙手段或?qū)⒅鸩铰又磷C券行業(yè)。公告顯示，某知名經(jīng)濟(jì)學(xué)家稱，自己被人利用“AI換臉”等技術(shù)，通過(guò)視頻、語(yǔ)音等方式聯(lián)系投資者，騙取投資者信任，開(kāi)展薦股活動(dòng)。

此前，多地警方通報(bào)有關(guān)“AI換臉”的詐騙案件。5月20日，包頭市警方發(fā)布了一則使用AI換臉的電信詐騙案例。當(dāng)事人郭先生此前突然接到好友的微信視頻，好友告訴郭先生，他有個(gè)朋友在外地投標(biāo)需要430萬(wàn)元保證金，想借用郭先生的公司賬戶過(guò)賬。郭先生覺(jué)得自己和好友開(kāi)過(guò)視頻，確認(rèn)了是本人，便沒(méi)有多想，直接向?qū)?yīng)賬戶轉(zhuǎn)賬過(guò)去了。十分鐘之內(nèi)，因?yàn)橐欢我曨l通話，郭先生便被騙走了430萬(wàn)元。

2022年2月，陳先生報(bào)案稱，自己被“好友”詐騙了近5萬(wàn)元。經(jīng)警方核實(shí)，詐騙分子利用陳先生好友“阿誠(chéng)”在社交平臺(tái)發(fā)布的視頻，截取其面部視頻畫(huà)面后再利用“AI換臉”技術(shù)合成，制造陳先生與“好友”視頻聊天的假象騙取其信任，從而實(shí)施詐騙。

6月25日，全國(guó)人大常委會(huì)法制工作委員會(huì)舉行記者會(huì)，臧鐵偉就“AI換臉”相關(guān)問(wèn)題作了回答。他表示，通過(guò)“AI換臉”進(jìn)行視頻合成、實(shí)施詐騙的行為，是利用新技術(shù)進(jìn)行的詐騙，與傳統(tǒng)的詐騙行為在本質(zhì)上沒(méi)有區(qū)別。

臧鐵偉還表示，對(duì)于構(gòu)成詐騙罪的，要依照我國(guó)刑法第二百六十六條的規(guī)定追究刑事責(zé)任。對(duì)于為利用“AI換臉”實(shí)施詐騙行為提供技術(shù)支持、幫助的，要根據(jù)反電信網(wǎng)絡(luò)詐騙法的規(guī)定進(jìn)行行政處罰，構(gòu)成犯罪的，還要根據(jù)刑法第二百八十七條之二幫助信息網(wǎng)絡(luò)犯罪活動(dòng)罪等追究刑事責(zé)任。對(duì)于為利用“AI換臉”實(shí)施詐騙行為提供技術(shù)支持、幫助的，要根據(jù)反電信網(wǎng)絡(luò)詐騙法的規(guī)定進(jìn)行行政處罰，構(gòu)成犯罪的，還要根據(jù)刑法第二百八十七條之二幫助信息網(wǎng)絡(luò)犯罪活動(dòng)罪等追究刑事責(zé)任。

立法機(jī)關(guān)正建立健全相關(guān)法律制度

隨著人工智能的發(fā)展，“AI換臉”技術(shù)門檻逐漸降低，應(yīng)用場(chǎng)景越來(lái)越多，在滿足人們獵奇、美顏、社交等需求的同時(shí)，為了牟利，一些不法分子突破道德底線和法治紅線。

為遏制“AI換臉”亂象，2022年11月25日，國(guó)家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部聯(lián)合發(fā)布的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》(以下簡(jiǎn)稱規(guī)定)第十七條要求，深度合成服務(wù)提供者提供智能對(duì)話、合成人聲、人臉生成、人臉替換等深度合成服務(wù)，可能導(dǎo)致公眾混淆或者誤認(rèn)的，應(yīng)當(dāng)在生成或者編輯的信息內(nèi)容的合理位置、區(qū)域進(jìn)行顯著標(biāo)識(shí)，向公眾提示深度合成情況：深度合成服務(wù)提供者提供前款規(guī)定之外的深度合成服務(wù)的，應(yīng)當(dāng)提供顯著標(biāo)識(shí)功能，并提示深度合成服務(wù)使用者可以進(jìn)行顯著標(biāo)識(shí)。

該規(guī)定明確，提供深度合成服務(wù)，應(yīng)當(dāng)遵守法律法規(guī)，尊重社會(huì)公德和倫理道德，堅(jiān)持正確政治方向、輿論導(dǎo)向、價(jià)值取向，促進(jìn)深度合成服務(wù)向上向善。

張起淮表示，現(xiàn)在很多犯罪分子開(kāi)始使用“AI換臉”技術(shù)進(jìn)行犯罪，由于立法總是滯后于社會(huì)現(xiàn)象，此類案件的司法實(shí)踐中大家很難掌握法律標(biāo)準(zhǔn)，所以盡快完善相關(guān)立法非常有必要。

張起淮稱，針對(duì)“AI換臉”技術(shù)要加強(qiáng)技術(shù)上的監(jiān)管和鑒別，加強(qiáng)對(duì)相關(guān)技術(shù)的普及。如果遭遇了類似情況的侵權(quán)，要在可能的情況下，及時(shí)報(bào)案或起訴，不能因?yàn)榕侣闊v容此類現(xiàn)象發(fā)生。

臧鐵偉表示，當(dāng)前，中央宣傳部、公安部正在全國(guó)開(kāi)展“全民反詐在行動(dòng)”集中宣傳月活動(dòng)，將進(jìn)一步貫徹落實(shí)反電信網(wǎng)絡(luò)詐騙法，不斷提升群眾防騙意識(shí)，切實(shí)營(yíng)造全社會(huì)反詐濃厚氛圍。立法機(jī)關(guān)也在加強(qiáng)對(duì)人工智能等領(lǐng)域法律問(wèn)題的研究，不斷建立健全相關(guān)法律制度。

中國(guó)政法大學(xué)傳播法研究中心副主任朱巍表示，對(duì)AI技術(shù)的監(jiān)管重點(diǎn)，首先，內(nèi)容的生產(chǎn)者要為結(jié)果負(fù)責(zé)。其次，在使用AI技術(shù)的過(guò)程中需要告知用戶。如果有人遭遇他人的惡意換臉行為，即使尚未找到這個(gè)惡意換臉的人，但提供了換臉這項(xiàng)技術(shù)的平臺(tái)也需要擔(dān)責(zé)，因?yàn)槠脚_(tái)本身也有監(jiān)管用戶使用何種素材的責(zé)任和義務(wù)。

(文中陳嵐、杜悅均為化名)

關(guān)鍵詞：