上海市网信办整治AI滥用：下线54款违规App，立案处罚3家网站

生成式人工智能技术蓬勃发展，赋能千行百业为社会生产生活带来巨大便利，但违规滥用问题也逐渐突出，AI换脸、AI变声、AI伪造等侵权和破坏网络生态现象层出不穷，给新技术新应用安全带来诸多风险挑战。

上海市网信办在执法办案工作中发现，部分企业开发使用生成式人工智能功能，未依法开展安全评估工作、未采取必要的安全防护措施防范违规信息生成、未采取限制措施防止被滥用，导致相关功能被用于“换脸变声”“变装造假”等侵犯他人个人信息权益行为，产出“开盒”“洗钱”等违法违规内容，以及生成色情低俗图片等信息内容。“亮剑浦江2025”专项执法行动将“整治AI滥用”作为年度治理重点，以执法促合规护航新兴产业高质量发展。

专项行动期间，兼顾执法力度与温度，多措并举引导生成式人工智能领域企业合规运营。一是加强日常管理。指导属地应用商店下线违规应用生成式人工智能技术的APP共54款。对照《人工智能生成合成内容标识办法》，指导专家团队拟制“实务解析”，为企业提供疑难解答。二是强化处置处罚。对前期要求下线功能的26家生成式人工智能服务网站，进行“回头看”巡查，防范问题复发。对3家拒不整改的生成式人工智能服务网站，首次适用《生成式人工智能服务管理暂行办法》予以立案处罚。三是首违企业免罚。督促5家首次发现存在未按国家规定开展安全评估工作或违规提供“论文代写”功能等违法违规问题的网站下线相关功能，并就生成式人工智能服务备案工作提供指导。

通过专项行动，生成式人工智能领域法治观念不断强化，企业合规经营意识明显加强，“AI滥用”问题得到改观。下一步，上海市网信办将巩固专项行动成果，持续对“AI滥用”“算法推荐”等存在侵犯个人信息权益、危害网络生态的违法违规行为予以重点打击和纠治，促进新技术新应用在法治的轨道上健康有序发展。