近日，中央网络安全和信息化委员会办公室（以下简称“中央网信办”）正式启动了“清朗·整治AI应用乱象”专项行动的第二阶段工作。此次行动重点聚焦于利用AI技术制作并传播虚假信息、暴力低俗内容、假冒仿冒他人身份以及侵害未成年人合法权益等突出问题。各地网信部门积极响应，深入推进各项整治任务，督促网站平台全面清理AI生成的各类违法不良信息，并依法对违规账号和移动应用程序进行查处，从而有效遏制了AI生成合成信息内容的乱象，推动了AI应用服务的健康有序发展。据统计，截至目前，已累计清理违法违规信息超过561万条，查处违规账号4.9万余个，处置违规网站和应用程序共计2400余个。
自专项行动开展以来，各地网信部门切实履行属地监管职责，结合实际情况制定并实施了一系列具有针对性的治理措施。例如，北京网信办指导网站平台全面升级审核策略，显著提升了对于违规内容新型变体的识别和处置能力。上海网信办则督促平台深入开展自查自纠工作，加大对违法违规信息和账号的查处力度，并推出了AI应用“知识普及包”，以引导公众识别并防范相关风险。浙江网信办则对属地内的重点平台进行了“一企一策”的问诊和合规指导，督促其完善内控体系，并依法查处了一批问题突出的AI应用软件。广东网信办则通过召开重点网站平台工作例会，对多款应用的违规问题进行了点对点的督促整改，确保了专项行动取得实效。
网站平台也积极响应专项行动的部署安排，持续健全AI内容的常态化治理机制。抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣、淘宝等知名平台进一步强化了技术赋能，优化了多模态识别模型，动态扩充了人脸库、声纹库和违规样本库，并上线了人脸实时治理系统等功能措施，从而显著提升了违规内容的智能检测和拦截效率。同时，这些平台也加大了对违规账号和信息的处置力度，并畅通了线索举报渠道，累计发布了各类治理公告46期。此外，豆包、元宝、千问、文心一言等平台则严把原始语料内容的审核关，严格限制违规内容的输出，并强化了AI生成合成内容的标识要求落地，从源头上防范了违法违规信息的生成和传播。华为、小米、OPPO、vivo等应用商店也制定了严格的APP开发者准入规范和上架要求，并对在架APP进行了抽检复测，有效拦截了违规应用的入库。
在专项行动期间，一批违法违规账号和应用受到了严肃处理。为了进一步加强警示教育，徽声在线现将部分典型案例通报如下：
1. 利用AI技术“魔改”经典名著，生成“数字泔水”。例如，微博账号“天**小”、抖音账号“歪**国”、快手账号“小*菌”、微信账号“咸*i”等，滥用AI技术对《三国演义》《西游记》等经典名著进行“魔改”，颠覆了重要人物的人设，并虚构了低质猎奇的剧情以博取流量。这些账号已被依法依约进行了处置。
2. 利用AI制作并发布虚假不实信息。快手账号“云**视”、小红书账号“有*头”、抖音账号“7**员”、微信账号“长**帆”等，利用AI生成合成了虚假的灾害现场和救援画面，编造了不实的社会热点信息，并发布了封建迷信内容。此外，它们还打造了AI数字人进行虚假宣传带货，误导了老年人，并制造了恐慌情绪。这些账号也已被依法依约进行了处置。
3. 利用AI假冒仿冒他人身份。抖音账号“特**力”、快手账号“石*”、小红书账号“潮**件”、微信账号“M**勒”等，利用AI的“换脸”“换声”等技术，假冒仿冒了公众人物的形象，并生成合成了低俗的舞蹈、拥抱接吻等图片和视频，以借机营销牟利。这些账号同样已被依法依约进行了处置。
4. 制作并发布暴力低俗等信息。哔哩哔哩账号“带**着”、抖音账号“波**C”、快手账号“虾**诡”、微信账号“星**7”等，批量发布了AI生成合成的含有恐怖诡异、暴力低俗等画面内容。这些账号也已被依法依约进行了处置。
5. 利用AI侵害未成年人权益。小红书账号“小**娃”、微信账号“豆*a”、抖音账号“半**历”、快手账号“若**雪”等，发布了AI生成合成的未成年人怀孕、打架等与其年龄特点不符的内容，并批量制作传播了“毒动画”、儿童“虐向”“邪典”视频，伤害并恶搞了未成年人的形象，对未成年人的身心健康造成了不良影响。这些账号也已被依法依约进行了处置。
6. 利用AI“托管”从事网络水军活动。微信账号“涛**客”、微博账号“A**师”、抖音账号“风*”等，为AI“托管”软件进行引流，模拟真人运营账号、评论互动，并生成了大量低质同质的文案。这些账号也已被依法依约进行了处置。
7. AI产品服务和应用程序存在违规行为。例如，“N**t”“穿**元”“甜*圈”“芋**o”等网站平台的多个智能体封面、简介和生成对话中含有淫秽色情及其他危害未成年人身心健康的信息，严重破坏了网络生态。对于拒不改正的平台，相关部门已依法予以查处，并按程序采取了警告、罚款、下架或关闭等措施。
下一步，网信部门将在总结专项行动治理成效的基础上，进一步把握人工智能的发展趋势和规律，密切关注AI生成合成内容的新情况和新风险，并及时采取有效措施防范AI技术的滥用和恶用，从而持续为人工智能的创新发展营造一个良好的环境。
