近年来，生成式人工智能技术被广泛应用，在为人们提供便利的同时，也让造谣者有了可乘之机。近期就有多起AI生成谣言在网络广泛传播，误导公众认知，破坏网络环境。
今年11月28日网友上传的一段视频，一名模特在展出的车辆旁边，衣着暴露，且做出不雅动作。而当天车企并没有安排模特为车辆宣传，车企选择报警。
12月10日，广州警方通报：“车展不雅视频”事件：李某为炫耀个人技术用AI生成虚假视频，被行拘10日。
内容虽然荒唐，但是因为传播广泛，官方紧急辟谣，西藏相关部门称，目前珠峰暂无安装电梯计划，网传图文视频为AI生成的虚假信息。部分营销号利用AI伪造西藏各类打卡景点的虚假图文视频，用虚假话术吸引流量，提醒网民切勿相信此类谣言。
以上这些利用AI生成的谣言视频，效果都达到了“以假乱真”的程度，而且在发布传播的过程中，都没有标注AI生成标识，其结果就是，给网友错觉认为这是线日起，《人工智能生成合成内容标识办法》正式施行，明确所有AI生成的文字、图片、视频等内容都要“亮明身份”，标注AI生成的标识。通常人工智能生成的视频或者图片以及文字标识问题，涉及三个主体：AI生成工具，信息发布和发布信息的平台，每一个环节都应标注。
信息发布者如何在自己的发布的信息中打上AI制作的标识呢？以视频号为例，打开已经发布的信息，在下边找到这个箭头标记，点开，找到视频标注的选项点击，这里有几个选项、内容为AI制作、内容为虚构剧情，点AI制作。再看视频下方会有一行字，作者提示，内容为AI技术制作。
一些人为了博眼球将AI生成标识二次加工给去掉，发到平台上。这时候作为谣言散布的最后守门员，平台就要去识别，并且打上标识。刷短视频时一定看到过这样的文字，在视频下方写着内容可能使用了AI图像编辑技术，请注意甄别。这行字就是平台识别判断后加上去的。
目前，平台对AI生成内容的审核采用的是机审和人审相结合的方式，也在不断强化识别能力。具体来说，平台通过收集样本，利用AI能力，训练了多个对AIGC内容识别的模型，来识别一条视频内容是否是AI制作的。
首先是针对文本的统计特征分析技术，寻找AI写作过于平稳、缺乏人味的“机器指纹”。其次是基于深度学习模型的检测技术，通过对特定生成算法的缺陷进行识别，分析像素和频域中存在的AI生成伪影，如纹理重复或特定图案。第三是多模态融合检测技术，利用大模型的通用理解能力来捕捉跨模态、高级语义上的不一致来实现。
现在主流的检测技术主要面临三大困难。一是存在理论瓶颈，随着AI模型能力不断增强，其输出的统计特征越来越接近人类高质量作品，导致理论上仅靠统计指标已无法区分，也就是概率分布重叠。其次是文本只需简单润色或同义词替换；图像只需压缩或截图就能破坏水印或伪影，使检测器失效。第三是泛化性不足，检测器通常是针对旧模型训练的，面对新的、未见过的AI生成模型，检测效果会显著下降，导致检测始终处于“滞后”状态。
专家表示，防范AI滥用不仅是识别工具技术更新问题，同时也要加速建立“数字信任生态体系”。
AI滥用的治理是个系统性工程，网络黑灰产为了利益也会进行技术升级，还会有更多的技术对抗。所以对AI滥用的治理仍然需要AI服务提供者、创作者、内容传播平台、广大用户共同努力。
通过深化利用多模态融合分析、动态对抗训练技术以及区块链存证追溯等技术，结合内容标识法规、行业统一的检测标准，以及可解释的检测结果 等治理框架，共同实现 从被动识别到主动验证，从局部鉴别到全局可信 的识别追踪方案。
更多
近年来，生成式人工智能技术被广泛应用，在为人们提供便利的同时，也让造谣者有了可乘之机。12月10日，广州警方通报：“车展不雅视频”事件：李某为炫耀个人技术用AI生成虚假视频，被行拘10日。事实上，今年9月1日起，《人工智能生成合成内容标识办法》正式施行，明确所有AI生成的文字、图片、视频等内容都要“亮明身份”，标注AI生成的标识。那么具体AI识别工具在识别是否为AI生成的作品时，会留意哪些方面呢。