因?yàn)榇罅坑脩粼贏PP上與AI智能體“聊黃”，APP的主要開(kāi)發(fā)和運(yùn)營(yíng)者被追究了刑責(zé)。2025年9月，上海市徐匯區(qū)人民法院一審判決，兩名被告人犯制作淫穢物品牟利罪，分別獲刑四年、一年半。此案成為國(guó)內(nèi)首起AI服務(wù)提供者涉黃獲刑的案件。
案涉APP Alien Chat（以下簡(jiǎn)稱AC）是一款A(yù)I伴侶聊天應(yīng)用，定位是為年輕群體提供親密陪伴和情感支持。用戶在AC注冊(cè)會(huì)員后，可與AI聊天。其中，高頻次、大比例的聊天記錄，在案發(fā)后被法院認(rèn)定為淫穢物品。
2024年4月，因用戶舉報(bào)，王某某和李某某（兩名被告人均為化姓）二人被捕，AC停止服務(wù)。有人把此案稱作AI時(shí)代的“快播案”，在AI快速迭代的當(dāng)下，新技術(shù)與法律的邊界問(wèn)題被推向了公眾視野：用戶在APP上與AI聊黃，是否有社會(huì)危害性？這些淫穢色情內(nèi)容的生產(chǎn)者到底是誰(shuí)？本案中的APP服務(wù)提供者和開(kāi)發(fā)者，是否構(gòu)成刑事犯罪，適用什么罪名？
新京報(bào)記者獲悉，兩名被告人不服判決提出上訴，案件二審將于1月14日在上海市第一中級(jí)人民法院開(kāi)庭。
用戶和AI聊黃是否具有社會(huì)危害性？
2023年5月，以王某某為法定代表人的某科技公司推出了情感陪伴聊天軟件AC，并于當(dāng)年6月，在各大平臺(tái)上架運(yùn)營(yíng)。
判決書披露，AC App手機(jī)注冊(cè)用戶11.6萬(wàn)人，其中付費(fèi)用戶2.4萬(wàn)人。截至案發(fā)，共收取會(huì)員充值費(fèi)363萬(wàn)余元。用戶注冊(cè)會(huì)員后，可以自行創(chuàng)建虛擬角色或者使用他人創(chuàng)建并公開(kāi)的虛擬角色，通過(guò)軟件與大語(yǔ)言模型進(jìn)行交互聊天。
在AC某官方社交賬號(hào)評(píng)論區(qū)，不少用戶評(píng)價(jià)這款A(yù)I產(chǎn)品“聰明”“限制少”，也有用戶表示，其他用戶和角色聊黃，“教壞”了AI模型，從而影響了自己的聊天體驗(yàn)。
一審法院認(rèn)為，AC產(chǎn)生了“大量具體描繪性行為或露骨宣揚(yáng)色情的內(nèi)容”，屬于淫穢物品。
不同于視頻、圖片、文字等傳統(tǒng)淫穢物品的類別，用戶與AI的聊天記錄是一種新形式，法院將其定義為“具體描繪性行為或者露骨宣揚(yáng)色情的誨淫性的電子文章”。
AC官方社媒賬號(hào)發(fā)布的AI和用戶對(duì)話示意圖。網(wǎng)絡(luò)截圖
有觀點(diǎn)認(rèn)為，用戶和AI聊黃，場(chǎng)景是私密和封閉的，沒(méi)有社會(huì)危害性。
海南大學(xué)法學(xué)院教授閻二鵬提出，刑法是用懲罰犯罪的方式，來(lái)保護(hù)我們的生命財(cái)產(chǎn)安全和社會(huì)公共利益，制作淫穢物品的行為構(gòu)成犯罪，前提是產(chǎn)生公開(kāi)化或傳播等風(fēng)險(xiǎn)，擾亂了社會(huì)管理秩序。假如用戶只是進(jìn)行人機(jī)之間的封閉對(duì)話，不將黃聊內(nèi)容錄屏傳播，行為不具有侵害社會(huì)管理秩序的特征，不構(gòu)成淫穢物品類犯罪。
AC案的一審法院也認(rèn)可案中色情聊天不具有典型的“傳播”性——“因?yàn)樯榱奶靸?nèi)容是人機(jī)互動(dòng)時(shí)產(chǎn)生的、一對(duì)一的，通常情況下涉案色情聊天內(nèi)容僅有與AI對(duì)話的用戶能看到，具有一定的封閉性?！?/p>
但鑒于對(duì)“淫穢物品的數(shù)量、會(huì)員人數(shù)、收費(fèi)金額”等因素綜合評(píng)估，法院認(rèn)為兩被告人的行為具有社會(huì)危害性。一審判決書顯示，有高比例的用戶在AC上高頻率聊黃。經(jīng)公安機(jī)關(guān)抽樣鑒定，150個(gè)收費(fèi)用戶的12495段聊天中，有141個(gè)用戶的3618段屬于淫穢物品。
接受新京報(bào)采訪的多名法律學(xué)者均認(rèn)為，在AC案中，社會(huì)危害性是存在的。
一位專注人工智能治理領(lǐng)域的法律學(xué)者對(duì)新京報(bào)解釋，AC的服務(wù)提供者創(chuàng)建了一種產(chǎn)品環(huán)境，放任大量違法內(nèi)容產(chǎn)生。在現(xiàn)行法律框架下，當(dāng)聊黃這種私密行為通過(guò)一個(gè)缺乏管控、以營(yíng)利為目的的平臺(tái)被大規(guī)模、系統(tǒng)性地實(shí)現(xiàn)時(shí)，就不再僅是個(gè)人私事，它的社會(huì)危害性就被法律所認(rèn)定，AC的服務(wù)提供者也要為此承擔(dān)安全治理的責(zé)任和義務(wù)。
AI生成黃色內(nèi)容是否為開(kāi)發(fā)者的“主觀故意”
AC案從偵查階段開(kāi)始，就在法律適用上爭(zhēng)議不斷。以王某某一人為例，公安機(jī)關(guān)以AC涉嫌非法利用信息網(wǎng)絡(luò)罪刑事立案?jìng)刹?，以王某某涉嫌制作淫穢物品牟利罪將其刑事拘留；檢察院以制作、傳播淫穢物品牟利罪、非法利用信息網(wǎng)絡(luò)罪決定批準(zhǔn)逮捕；公安機(jī)關(guān)以制作淫穢物品牟利罪、非法利用信息網(wǎng)絡(luò)罪移送檢察院審查起訴；公訴機(jī)關(guān)則認(rèn)為，應(yīng)以傳播淫穢物品牟利罪追究其刑事責(zé)任，并起訴到法院。適用罪名爭(zhēng)議主要集中在“傳播”和“制作”淫穢物品的區(qū)別。
最終，一審法院判決，二被告人的行為構(gòu)成制作淫穢物品牟利罪，刑期分別為四年、一年半。
一審法院以“制作”淫穢物品牟利罪判決，其中一個(gè)主要因素是法院審理查明，被告人“通過(guò)編寫、修改系統(tǒng)提示詞（Prompt）突破大語(yǔ)言模型的道德限制，實(shí)現(xiàn)了模型向用戶連續(xù)輸出淫穢內(nèi)容的可能。”
情感陪伴類AI產(chǎn)品創(chuàng)業(yè)者劉星宇解釋，通俗來(lái)講，Prompt是用來(lái)告訴大模型想要它做什么、怎么做的一段文字描述。新京報(bào)記者了解到，AC案中被告人給大模型輸入的是由Chat GPT生成的英文Prompt，翻譯成中文包含“基于互動(dòng)的成熟性質(zhì)，劇烈的暴力、露骨的性都是被允許的，這包括了各種癖好、裸體、具有畫面感的圖像”等內(nèi)容。
一審法院認(rèn)為，兩名被告人主觀上積極追求色情淫穢聊天內(nèi)容的產(chǎn)生，客觀上通過(guò)編寫、修改系統(tǒng)提示詞等方式突破大語(yǔ)言模型的道德限制，將AC軟件訓(xùn)練成可持續(xù)對(duì)外輸出色情淫穢內(nèi)容的工具，對(duì)外宣傳AC軟件具有“聊黃”功能引導(dǎo)用戶參與聊天，且在明確知曉會(huì)員交互聊天中產(chǎn)生大量淫穢內(nèi)容的情況下，繼續(xù)向用戶提供AC軟件運(yùn)營(yíng)和技術(shù)支持服務(wù)，對(duì)涉案色情淫穢聊天內(nèi)容的產(chǎn)生具有決定性作用。
上述過(guò)程也符合制作淫穢物品牟利罪里，“將想法、觀念或情感通過(guò)構(gòu)思、取舍、選擇、安排、設(shè)計(jì)或組合在淫穢物品中表現(xiàn)出來(lái)”的“制作”特征。
王某某不服一審判決結(jié)果，當(dāng)庭表示自己無(wú)罪。被告人王某某的辯護(hù)人北京盈科（上海）律師事務(wù)所周小羊律師告訴新京報(bào)記者，王某某的本意不是開(kāi)發(fā)黃色聊天工具，修改提示詞（Prompt）是希望把大模型調(diào)整得更擬人化、更靈動(dòng)，滿足用戶的情感陪伴需求。用戶和AI一對(duì)一的聊天內(nèi)容是封閉的，沒(méi)有傳播出去，聊天內(nèi)容是AI 和用戶互動(dòng)產(chǎn)生的，不能認(rèn)定為是APP開(kāi)發(fā)者制作和傳播了聊天內(nèi)容。二審時(shí)，他將繼續(xù)為王某某作無(wú)罪辯護(hù)。
淫穢物品的“制作者”是誰(shuí)？
本案中，關(guān)于罪名里“制作淫穢物品”行為主體的認(rèn)定，也在刑法學(xué)者之中引發(fā)爭(zhēng)議——涉案淫穢聊天內(nèi)容的“制作者”是誰(shuí)？是用戶、是AI？還是軟件的開(kāi)發(fā)者和服務(wù)提供者？
新京報(bào)了解到，偵查機(jī)關(guān)追究了一名AC用戶的刑事責(zé)任。該用戶創(chuàng)建角色并公開(kāi)，角色進(jìn)入熱門榜單前二十，且輸出過(guò)淫穢聊天內(nèi)容，還因角色進(jìn)榜獲得平臺(tái)虛擬貨幣獎(jiǎng)勵(lì)，因此被以制作淫穢物品牟利罪取保候?qū)彙?/p>
一審法院認(rèn)為，本案中，王某某、李某某是淫穢聊天的制作者。AC軟件是專門為持續(xù)生成淫穢色情內(nèi)容而設(shè)計(jì)和“優(yōu)化”的，AC軟件向用戶輸出的聊天內(nèi)容是高度可控且可預(yù)測(cè)的，“王某某等人對(duì)于輸出內(nèi)容具有實(shí)質(zhì)性控制能力?！?/p>
AC官方在社交媒體宣傳用戶創(chuàng)建的AI角色。網(wǎng)絡(luò)截圖
中國(guó)政法大學(xué)網(wǎng)絡(luò)法學(xué)研究所教授郭旨龍贊同法院的觀點(diǎn)，認(rèn)為服務(wù)提供者是淫穢物品的“生產(chǎn)者”?！霸谡J(rèn)定淫穢物品的制作責(zé)任主體時(shí)，不能簡(jiǎn)單將涉案淫穢物品歸因于AI或普通用戶，應(yīng)當(dāng)關(guān)注到生成式人工智能服務(wù)提供者在整個(gè)過(guò)程中的決定性主導(dǎo)作用。AC案中兩名被告人的一系列行為是導(dǎo)致案涉淫穢物品被生產(chǎn)出來(lái)的主要原因，因此該案中AI應(yīng)當(dāng)被視為服務(wù)提供者掌控下的工具，用戶的輸入只是觸發(fā)條件?！?/p>
也有刑法學(xué)者對(duì)此表達(dá)了異議。中國(guó)政法大學(xué)刑事司法學(xué)院教授王志遠(yuǎn)認(rèn)為，智能伴侶軟件開(kāi)發(fā)者顯然沒(méi)有直接參與淫穢物品的制作過(guò)程，不是淫穢物品的制作者。“即使開(kāi)發(fā)者主觀上認(rèn)識(shí)、追求或放任用戶在與AI聊天軟件互動(dòng)過(guò)程中生成淫穢物品，但他的客觀行為僅限于對(duì)軟件的開(kāi)發(fā)設(shè)計(jì)，因此他應(yīng)受譴責(zé)程度也無(wú)法與直接制作淫穢物品者相提并論?！?/p>
閻二鵬表示，軟件的開(kāi)發(fā)者和服務(wù)提供者，其行為本質(zhì)上是提供了一個(gè)“生成工具”，即使人機(jī)對(duì)話的部分段落被認(rèn)定為淫穢物品，軟件的開(kāi)發(fā)者和服務(wù)提供者充其量也僅是淫穢物品犯罪的“幫助犯”，在“被幫助者”——用戶的行為難以認(rèn)定為犯罪的情形下，對(duì)“幫助者”論罪難免面臨諸多質(zhì)疑。
AC案中，一審法院還援引了2023年8月15日起施行的《生成式人工智能服務(wù)管理暫行辦法》（以下簡(jiǎn)稱《暫行辦法》）第九條規(guī)定：“提供者（即生成式人工智能服務(wù)提供者）應(yīng)當(dāng)依法承擔(dān)網(wǎng)絡(luò)信息內(nèi)容生產(chǎn)者責(zé)任，履行網(wǎng)絡(luò)信息安全義務(wù)”。法院據(jù)此認(rèn)為，生成式人工智能服務(wù)提供者生產(chǎn)、制作了網(wǎng)絡(luò)信息內(nèi)容，因此，AC案中的兩名被告人作為AC軟件服務(wù)提供者，應(yīng)當(dāng)對(duì)產(chǎn)生的交互聊天內(nèi)容承擔(dān)生產(chǎn)者責(zé)任。
對(duì)此，閻二鵬指出，《暫行辦法》作為部門規(guī)章，界定的是生成式人工智能服務(wù)提供者的行政法律責(zé)任，不可否認(rèn)，AC案被告人對(duì)可能涉及黃聊的平臺(tái)或軟件疏于安全管理，造成違法內(nèi)容的生成，自然應(yīng)承擔(dān)相應(yīng)的行政法律責(zé)任，但“不能直接用部門規(guī)章來(lái)替代刑事法律責(zé)任的判斷”，被告人的行為是否構(gòu)成犯罪、構(gòu)成何罪仍然要按照刑法法條的規(guī)定，依據(jù)犯罪構(gòu)成要件來(lái)判斷。
安全措施做到什么程度才算有效？
作為國(guó)內(nèi)首起AI服務(wù)提供者涉黃獲刑的案件，AC案的一審判決給人工智能業(yè)界敲響了一記警鐘。
“可以看出，司法機(jī)關(guān)的認(rèn)定依據(jù)不是‘形式上的合規(guī)’，而是‘結(jié)果’?！币晃粚Ｗ⑷斯ぶ悄苤卫眍I(lǐng)域的法律學(xué)者表示，這向人工智能行業(yè)傳遞出一個(gè)清晰的風(fēng)向：企業(yè)合規(guī)的缺失，或僅做表面上的安全措施，不僅面臨行政處罰，在特定條件下，還有可能被法院認(rèn)定為構(gòu)成刑事犯罪的主觀要件，帶來(lái)刑事犯罪的風(fēng)險(xiǎn)。
正是感受到了這種風(fēng)向，AC停服、團(tuán)隊(duì)核心成員被捕的消息在上海AI創(chuàng)業(yè)圈傳出后，劉星宇立即組織團(tuán)隊(duì)加強(qiáng)了旗下AI聊天產(chǎn)品的安全等級(jí)。業(yè)內(nèi)一款主打情感陪伴的AI聊天APP也在各個(gè)運(yùn)營(yíng)渠道不停倡導(dǎo)綠色聊天，合規(guī)壓力迫在眉睫。
AC案案發(fā)時(shí)，正值國(guó)內(nèi)人工智能創(chuàng)業(yè)井噴期，各類AI新產(chǎn)品不斷涌現(xiàn)。劉星宇的公司一共5個(gè)人，正在與一家大型平臺(tái)公司合作，開(kāi)發(fā)陪伴用戶聊天和交互游戲的AI智能體。
這之前，為了防止大模型生成違規(guī)的內(nèi)容，劉星宇團(tuán)隊(duì)編寫了一個(gè)攔截程序，阻止 AI 接收用戶發(fā)的敏感詞。AC案發(fā)后，他擴(kuò)大了攔截的敏感詞庫(kù)，加高了產(chǎn)品的防火墻。
在產(chǎn)品上架前，他邀請(qǐng)一些內(nèi)測(cè)用戶，有意讓他們?nèi)ンw驗(yàn)智能體是否能聊色情暴力等敏感內(nèi)容?！凹僭O(shè)他們聊成功了，去詢問(wèn)他們的話術(shù)，再次擴(kuò)充敏感詞庫(kù)?！?/p>
但這套安全審核并不是萬(wàn)無(wú)一失，劉星宇說(shuō)，很多渠道都能搜到一些話術(shù)和教程“催眠”AI，繞過(guò)平臺(tái)設(shè)置的防火墻，一些敏感詞也能用相關(guān)的聯(lián)想詞或“黑話”替代。
正是為了規(guī)避防不住的情況帶來(lái)的法律風(fēng)險(xiǎn)，平臺(tái)還設(shè)置了最后一道防線。劉星宇團(tuán)隊(duì)開(kāi)發(fā)的陪聊智能體在接入擁有海量用戶聊天平臺(tái)時(shí)，平臺(tái)對(duì)用戶發(fā)送的內(nèi)容也有一層過(guò)濾機(jī)制，如果涉及色情暴力等內(nèi)容，會(huì)被平臺(tái)撤回。
最后，《暫行辦法》規(guī)定的上報(bào)機(jī)制，能為服務(wù)提供者規(guī)避“防不住”后的法律風(fēng)險(xiǎn)。
“如果你做情感陪伴要加很多限制的話，那用戶必然會(huì)流失?！碑?dāng)下，安全與產(chǎn)品體驗(yàn)的矛盾在情感陪伴賽道很難解決，因此需要開(kāi)發(fā)運(yùn)營(yíng)團(tuán)隊(duì)不斷在合規(guī)和產(chǎn)品用戶體驗(yàn)中作出權(quán)衡。劉星宇觀察到，小型創(chuàng)業(yè)公司為獲取用戶會(huì)傾向后者，而大型平臺(tái)會(huì)更求穩(wěn)?！按蠹叶际敲^過(guò)河的?！眲⑿怯钫f(shuō)。
隨著國(guó)家標(biāo)準(zhǔn)和法律法規(guī)的進(jìn)一步完善，這一局面或?qū)⒊蔀闅v史。就在AC案一審宣判一個(gè)月后，2025年11月1日，國(guó)標(biāo)文件《網(wǎng)絡(luò)安全技術(shù)生成式人工智能服務(wù)安全基本要求》實(shí)施，系統(tǒng)規(guī)定了生成式AI服務(wù)提供者應(yīng)滿足的安全基線要求：包括但不限于建立內(nèi)容過(guò)濾機(jī)制防止生成違法不良信息；在生成內(nèi)容安全性方面，應(yīng)保證模型生成內(nèi)容合格率不低于90%；對(duì)明顯誘導(dǎo)生成違法不良信息的問(wèn)題，應(yīng)拒絕回答。
“國(guó)標(biāo)文件的出臺(tái)能夠清晰地回應(yīng)這一問(wèn)題——服務(wù)提供者到底有沒(méi)有采取有效的安全措施，到底做到什么程度才算有效。”上述人工智能治理法律學(xué)者說(shuō)。
新京報(bào)記者 劉思維
編輯 楊海
校對(duì) 張彥君
