2025年12月，女演员林语溪向杭州互联网法院提出诉讼，她告一个短视频用户使用AI技术把她的脸换进成人影片里，视频播放量达到3200万次以上，证据表明这个人只上传了一张林语溪的照片，通过一家叫“幻影AI”的公司完成换脸操作，法院在2026年1月17日正式受理这起案件，这是国内首例针对AI生成色情内容的民事诉讼。
“幻影AI”公司说他们只是卖工具的，不负责别人怎么用这些工具，早在2025年10月就已经把相关模型删掉了。短视频平台这边表示，他们的审核系统确实拦下了不少低俗内容，但这个视频因为换脸自然、人脸识别准确，系统没抓出来，更重要的是，在原告起诉之前，平台一直没有主动下架这个视频，于是有人开始怀疑，是不是算法默认允许这类内容存在。
《民法典》第1019条禁止随意使用他人肖像，但没有明确说明AI生成的内容是否属于“使用”，法律存在模糊之处，法官也没有先例可以参考，有人认为明星曝光度高，应该承担更多风险，也有人认为把明星合成到色情影片中，与一般曝光完全不同，二者根本不是一回事。
国外已经行动起来，欧盟把深度伪造的色情内容直接列为高风险类别，不允许用于商业用途，美国加州要求所有由人工智能生成的内容必须添加水印，我们这边还没有强制标识的规定，同时“AI女友”这类应用的用户数量快速增长，不少应用打着情感陪伴的名义，实际上模糊了真实和虚构之间的界限。
其实受害的人不只是明星，一份匿名调查说2024到2025年之间，有76%的AI换脸受害者都是普通人，尤其女性占得多，比如江苏一位老师被人合成不。