“訓練”AI模型輸出淫穢圖片牟利,開發者獲刑
2026年10月,《法治日報》記者了解到,浙江省余姚市人民法院審結一起利用生成式人工智能制作淫穢物品牟利的案件。
曾是國內游戲大廠AI(人工智能)領域核心程序員的鄭某,通過改寫系統提示詞實現模型“越獄”、設定角色卡誘導對話場景、開發淫穢圖片生成功能等方式,將AI模型“訓練”為專門輸出淫穢物品的犯罪工具,為用戶輸出淫穢內容提供技術條件……最終,鄭某等人被法院認定,構成制作淫穢物品牟利罪。
AI竟成了“造黃”工具
被告人鄭某曾是國內一家游戲大廠的員工,在AI技術領域具有一定影響力,也曾赴國外進行深造,是一名高科技人才。
2024年7月,鄭某接觸到境外一款AI色情聊天機器人后,萌生了開發同類軟件非法牟利的想法。隨后,鄭某與同事謝某以及在網上結識的閆某等六人共同組建了“研發團隊”。
鄭某等人通過技術手段對基礎模型實施“越獄”,突破了大模型內置的色情內容安全限制。用戶充值付費后,可在該模型中選定角色卡,生成色情聊天文本,之后通過消耗不同積分進一步生成淫穢圖片。
經過一段時間的調試,2025年1月,鄭某等人研發的生成式人工智能模型在境外平臺正式上線運營,并接入多種充值渠道向用戶收取費用。
2025年7月,公安機關在發現違法犯罪線索后進行立案偵查。同年9月,鄭某等六名被告人全部被抓獲歸案。
經核查,涉案AI模型運營期間,應用戶需求共生成靜態圖片37萬余張、動態圖片6000余張,共收取用戶充值金額2.4萬美元,折合人民幣17萬余元。在上述圖片中隨機抽取的12500張靜態圖片和全量動態圖片中,有9000多張靜態圖片、5000多張動態圖片被認定為淫穢物品。
認定為“制作淫穢物品”
本案的核心爭議焦點在于,鄭某等生成式人工智能服務提供者通過技術手段突破模型算法倫理與安全限制輸出淫穢內容是否屬于“制作淫穢物品”。
該案承辦法官、余姚市法院刑事審判庭一級法官諸張琳介紹,刑法意義上的“制作”淫穢物品,是指將特定思想、觀念或情感通過構思、設計、安排等方式在淫穢物品中予以表現的行為。
“傳統語境下,‘制作’往往體現為人工創作、編輯等直接行為。然而,進入人工智能時代后,淫穢物品的產生方式正在從‘人工創作’向‘AI生成’轉變,刑法評價應當適配技術現實。生成式人工智能模型通常內置內容安全過濾機制,用以攔截不良違法信息,其本身并非犯罪工具。本案中,被告人鄭某等人不斷編寫、修改系統提示詞,并通過多種技術手段,持續試探并突破AI模型倫理與安全限制,使其違背原有安全設計,觸發用戶指令后生成淫穢內容。這一系列行為的實質,是被告人主動將AI模型從通用工具‘訓練’為專門輸出淫穢物品的犯罪工具。”諸張琳說。
庭審中,被告人辯稱用戶存在選擇角色、輸入特定指令的操作。對此,法院認為,用戶雖然存在選擇角色、輸入特定指令的操作,但他們的行為均被限定在被告人預先搭建的技術框架內,被告人對AI模型的內容輸出具有實質性控制能力,其行為與淫穢內容的產生之間存在刑法上的直接因果關系。因此,生成式人工智能服務提供者通過技術手段突破模型算法倫理與安全限制輸出淫穢內容,應被認定為“制作淫穢物品”。
余姚市法院經審理認為,被告人鄭某等六人以牟利為目的,結伙利用AI技術制作淫穢物品,情節嚴重,其行為均已構成制作淫穢物品牟利罪。綜合考慮其犯罪事實、情節、認罪悔罪態度以及對社會的危害程度等情形,分別判處被告人鄭某等六人有期徒刑三年一個月至三年十個月不等,并處罰金。一審判決后,當事人均未提起上訴。目前,判決已經生效。
“技術中立”不是擋箭牌
“‘技術中立’不是違法犯罪的擋箭牌,不能因內容由AI輸出,就否定開發者的‘制作者’身份。”諸張琳表示,本案是一起典型的AI技術被濫用實施犯罪的案件,暴露出生成式人工智能快速發展過程中潛藏的刑事風險。開發者主動篡改模型安全機制,搭建便于產出淫穢內容的技術環境,對違法內容生成具備實質控制力,即便由用戶輸入指令觸發內容輸出,開發者仍屬于刑法意義上淫穢物品的制作者,應當承擔相應刑事責任。
諸張琳指出,對于這類案件,應結合傳播范圍、擴散風險、實際危害綜合評價,區分批量生成與按需生成、公開傳播與封閉交互,實現罪責刑相適應。既要對海量生成、廣泛擴散的行為從嚴懲處,也要考慮到AI具有一鍵生成、批量產出的技術特性,對技術特性導致的數量虛高予以合理限縮,讓量刑精準適配AI時代犯罪形態。
“生成式人工智能服務提供者在追求商業利益的同時,必須嚴守法律底線和科技倫理,主動履行內容安全管理義務。任何試圖利用技術手段規避監管、突破法律紅線的行為,都將受到法律的嚴肅懲處。”寧波市中級人民法院刑事審判第二庭庭長陳靖說。
本報記者 王春
本報通訊員 鄭珊珊 鐘法







































京公網安備 11010202009201號