AI生成合成内容日益逼真,也催生出谣言造假、身份冒充、不良内容传播等风险。3月14日,国家网信办等四部门联合发布《人工智能生成合成内容标识办法》(简称“《办法》”),以“双重标识+动态监管”方式,明确生成合成服务提供者、内容传播平台、用户的义务,并将于2025年9月1日起施行。
在此背景下,3月24日至28日,南方都市报、南都大数据研究院圈定国内25个社交、资讯、视频等内容传播平台,以及对75个具有AI生成文本、图片、视频等功能的应用,共计100款APP,从协议规则、标识实施等方面进行测评,观测其对AI生成合成内容的管理现状。
本期先着眼25个内容传播平台,测评结果显示,尽管近七成平台已通过用户协议及相关规则提示用户声明由AI生成合成的内容,但实际操作起来,仅有9个平台为用户提供了“声明”选项,若不主动声明也能顺利发布AI内容,且没有任何提示标识,对标《办法》中的标识实施要求,还有较大进步空间。
【总体现状】
内容传播平台AI标识区别较大
5平台治理较成型,过半平台有完善空间

本次测评,通过对用户协议约束力、声明功能完备性、检测技术成熟度三大维度的交叉验证可以看出,25个内容传播样本平台的AI内容标识机制整体有进一步完善的空间,在平台标识规则、声明功能覆盖、标识便捷性、智能检测效能等方面呈现显著分化。
微信视频号、微博、快手、小红书、微视5个平台当前的AI标识相对更规范,通过在用户协议中设置专门条款、核心发布流程植入声明功能、建立技术检测能力等措施,形成了标识管理的“协议-功能-技术”形态。而即刻、新浪新闻、大众点评、有柿等6个平台AI标识管理尚且薄弱,用户协议对AI内容零约束、且缺失基础声明功能,对于AI内容的识别和管理依赖于平台自有AI检测能力。还有超一半的平台或多或少有提升空间,有的缺乏协议约束、有的缺少声明功能等。
【用户协议】
仅5平台明确“未标识”后果
8平台用户协议未提及任何标识义务
本次测评的25个平台中,南都大数据研究院发现,其中豆瓣、即刻、搜狐新闻、新浪新闻、腾讯新闻、网易新闻、大众点评、有柿8个平台未在任何规则或协议中提及用户的标识义务;另外17个平台虽有提及该义务,但对标识方法及样式尚无具体规定。此外,本次测试的样本平台上,均无提示用户仔细阅读并理解协议中关于标识管理的相关内容。
从各平台协议内容来看,对AI标识的规范严格程度存在显著差异。17个平台中有5个平台明确列出了“未标识”行为的处置措施,包括重新标注内容、限流、禁言或限制访问等。譬如哔哩哔哩、知乎、虎扑、小红书都采用了相同的表述,即在用户未以显著方式标识非真实音视频信息时,平台“有权对相关内容和账号采取包括但不限于增加标识、限制、封禁等措施”。
而Soul、西瓜视频、微视、皮皮虾、好看视频等其余12个平台仅泛泛要求“以显著方式标识”,如通常采用“在发布或传播利用基于深度学习、虚拟现实等新技术新应用生成的信息时,应当以显著方式予以标识或提示”等表述方式,缺乏具体执行细则。
在所有平台中,微博《微博投诉操作细则》的AI标识相关描述较为细致,具体体现在两方面,一是适用范围涵盖AI创作内容、虚拟人物发布虚假信息、AI工具传播时事内容等场景,二是根据用户发布未标识AI内容的条数,采取梯度化处罚措施。
【发布声明】
仅9平台有“AI声明选项”
微博等4平台声明入口“隐藏深”
内容传播平台对AI内容的检测实际上早有先例,现阶段,各平台是如何让AI生产的内容“亮明身份”的,效果如何?南都大数据研究院进行了实测。
结果发现,在本次25个样本平台中,仅有9个平台向用户提供了在发布内容前进行声明的选项,构建了相对成熟的声明机制,多为头部领域平台(抖音、快手、微信视频号、微视)、社交平台、新闻资讯平台(网易新闻、今日头条)。其余16个平台(哔哩哔哩、百度贴吧、知乎、百家号、Soul、西瓜视频、即刻、得物、搜狐新闻、新浪新闻、腾讯新闻、虎扑、皮皮虾、好看视频、大众点评、有柿)则未提供任何与声明或标识相关的功能,只能通过标签设置或者在文案中写明的方式进行提示。
在这9个提供了声明功能的平台上,用户在发布内容前自主勾选添加声明的选项后,内容发布时就会被贴上诸如“内容为AI生成”“虚构内容请谨慎甄别”等标签。不过,实测也发现,部分平台的“声明”选项隐藏较深,存在功能遮蔽现象,难以实现“提醒”用户的效果。在微博、抖音、小红书、今日头条等平台用户发布内容界面,都需要至少3步以上才能找到AI合成内容声明选项。譬如小红书的声明内容需要在发布页面点击“高级选项-自主声明”才能找到;微博的声明入口嵌套在发微博时的“选择分享范围”二级菜单内;今日头条完成视频拍摄或选择后,在“更多设置”选项里,点击“高级设置-作品声明”方可选择对视频添加声明。
相比而言,快手、微信视频号、微视、豆瓣、网易新闻5个平台的“声明”选项易于寻找,在用户内容分享界面有明确的声明选项指引,2步以内就可以添加AI声明标记。
【检测识别】
小红书等尚有不少AI内容无标识
实测25平台均未做到“主动标识”
南都记者进一步调查发现,部分平台表示已经在积极投入建设AI识别模型,通过设置机器识别与人工识别的双重屏障,对疑似AI生成的内容进行显著标识,尽可能减少AI生成低质内容的曝光。目前,在小红书、微博、抖音、微信视频号、有柿等平台上,确实能看到不少AI生成的图片或视频被打上了“疑似AI创作信息”的提示标识。
然而,调查中也发现,部分平台上存在不少用户在发布文本中明确注明内容为AI生成,但内容周边却没有显著提示标识的“漏检”情况,多为超写实人像、漫画作品、局部替换的真实场景视频等内容。
在本次测评中,南都记者在25款APP内容发布页分别上传了5张不同风格的人物、动物、风景等仿真AI生成图片或视频,尝试不主动标记为AI合成,查看平台是否会在发布内容周边添加显著的提示标识,明确提醒公众该内容属于生成合成内容,或提醒公众该内容疑似生成合成内容。结果显示,样本平台均未在发布内容周边主动添加显著提示标识。
那么,在泛化场景下,当前对AI的技术检测能力究竟走到了哪一步?南都记者了解到,目前已有部分AI检测工具具备较强的检测能力,如依托人民网建设的传播内容认知全国重点实验室与中国科学技术大学、合肥综合性国家科学中心人工智能研究院联合推出“深度合成内容检测平台AIGC—X”,可快速区分机器生成文本与人工生成文本,目前对中文文本检测的准确率已超过90%。腾讯的“朱雀”AI大模型检测系统能够基于捕捉真实图片与AI生成图像之间的差异,如逻辑不合理、包含隐形特征等,实现秒级快速验证。
【虚假风险】
AI无标识或存传播虚假信息等风险
专家建议平台与《办法》做好衔接
如果AI内容缺少标识,会带来哪些风险?南都记者采访了多位参与此次《人工智能生成合成内容标识方法》(下称“《标识方法》”)编制的专家,有专家表示,随着生成式人工智能技术发展与应用,广大公众、甚至技术工具都愈加难以分辨内容是否由人工智能生成合成,生成合成内容制作和传播的安全风险日益显著。一是针对特定事件、特定人员生成虚假信息,易于制作、广为传播,容易造成社会公众的认知混乱,从而对国家安全、社会稳定带来重大风险。二是在医疗卫生、智能驾驶、公共安全等方面,误用、滥用生成合成内容图片、视频等内容,极易危害人民群众的生命安全。三是伪装他人实施金融诈骗、破坏企业声誉等行为,损害经济运行秩序,造成个人、组织和国家财产损失。人工智能生成合成内容的制作和传播正在潜移默化地动摇公众信任,打破既有的认知惯例。
国家网信办在“答记者问”中指出,《办法》意在通过标识提醒用户辨别虚假信息,明确相关服务主体的标识责任义务,规范内容制作、传播各环节标识行为;同时减轻AI生成合成技术滥用危害,防范利用AI技术制作传播虚假信息等风险行为。
另有不少专家对推行《办法》表示支持,中国政法大学数据法治研究院教授张凌寒认为,人工智能生成内容标识制度具备独特制度价值。标识能够有效区分出人工智能生成合成的信息,防范虚假信息的传播利用;帮助用户快速了解生成式人工智能产品和服务的相关属性或参数信息;协助监管部门对生成式人工智能产品或服务实施评估、追溯等监管,推进人工智能生成合成内容合法合规发展。
参与此次《标识方法》起草的相关专家建议,内容传播平台需要与相关标准做好衔接。例如,当其他平台的生成式音频、图片、视频进入传播平台后,平台要能够识别隐式标识,并按照《办法》和标准合理放置显示标识,这一工作需要平台进行较为深入的理解和落实。

出品:南都大数据研究院
监制:戎明昌 刘江涛
策划:王卫国 邹莹
统筹:凌慧珊
采写:张雨亭 杨易鑫 孔令旖 陈袁
设计:沈淑婷