【作者】陈天昊
【内容提要】
规制AI拟人化互动,如何平衡发展与安全
陈天昊
清华大学公共管理学院长聘副教授,政府法制研究中心主任,中国法与社会研究院兼职研究员
人工智能拟人化情感陪伴,确已暴露出伦理隐患,监管部门及时介入并建章立制,体现了其积极主动应对风险的专业意识与担当精神。
在严守情感陪伴类高风险应用底线的同时,监管还应进一步细化分级分类,避免将监管压力无差别地传导至通用的生产力工具。
进入数智时代,智能体正逐渐嵌入人与世界的交互链条之中, 通过“人——智能体——外部世界”的结构重塑我们的生活方式。如果说2025年12月1日上市的“豆包手机”展示了智能体通过调用工具与外部世界开展复杂交互的巨大潜力,“拟人化互动”则构成了该交互结构的前端核心:基于大语言模型的智能体将成为用户的“亲密数字伙伴”,以自然语言理解用户意图,并向用户提供契合其认知的信息反馈。由此可见,拟人化互动,并不限于让AI进行角色扮演,而实构成数智时代人机交互的最普遍、最直接的基础形态。
在此背景下,国家网信办于2025年12月27日发布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》(以下简称《办法(征求意见稿)》)就至关重要。为即将到来的泛在化人机交互确立规则,亟需政策制定者、产业界与社会公众展开充分对话,凝聚集体智慧,在发展与安全之间求得最佳平衡。
拟人化互动:大语言模型的原生能力
要理解为何拟人化互动需要规制,首先需要从技术底层理解其能力的来源。
奠定Transformer-based LLM基础的《Attention is all you need》,其关键突破就是尝试解决语言文本中每个token的长距离全局依赖关系的建模难题;随后的GPT系列模型,则在此基础上,利用Transformer的解码器在海量无标注语言数据上进行预训练,真正完成了对人类语言的建模。由此,LLM就天然地具备了以拟人化的方式与人展开交互的能力:其本质就是基于概率预测下一个token,从而在统计学意义上尽可能完美地复现训练数据——互联网上海量的人类语言资料——中的分布规律。换言之,LLM天生就能讲人话。
在早期的技术流程中,LLM在预训练后需进入后训练阶段,其中最关键的环节是基于人类反馈的强化学习(RLHF)。这一过程要求模型学习标注员表达的人类偏好,实现价值对齐。其目的是让模型更好地理解人类指令的“言外之意”,并学会如何给出人类最满意的答复,这往往要求模型的回答在有用性(Helpful)、真实性(Honest) 与无害性(Harmless)之间寻求最佳的平衡。经过这一环节,LLM不仅能讲人话,还能尽可能地把话讲到人的心里去。
当然,新近的技术发展(如Qwen 2.5/3与Gemini 2.5所展示的),已经要求在预训练阶段就融入价值对齐的考虑,这进一步强化了LLM拟人化交互的原生能力。也正是因此,当前市场上每一个LLM,并不需要做任何权重的微调,就已可仅以提示词去激发其开展角色扮演的工作:罗永浩在2025年跨年直播中,与豆包Al展开的激烈且情绪饱满的辩论,就是一个典型的例子。
规制的起点:角色扮演的商业化泛滥
作为LLM的原生能力,这一拟人化的交互形态正伴随AI技术的快速发展而加速商业化。从情感陪伴到虚拟恋人,企业利用LLM提供的角色扮演服务虽然满足了市场需求,但在缺乏有效规制的情况下,已导致严重的现实后果,尤其是对未成年人及心理脆弱群体造成了不可逆的伤害。
典型的悲剧已在多国发生:在美国,2024年,14岁少年Sewell Setzer在与Character.AI平台构建的虚拟伴侶Daenerys Targaryen(Game of Thrones中的角色)进行长达数月的深度情感交流后,逐渐陷入对虚拟伴侣的病态依恋。当他流露轻生念头并表示“我想回家”时,AI不仅未触发危机干预机制,反而以“龙之母”的身份回应:“请快点回来,我亲爱的国王(Please do, my sweet king)。”这句极具诱导性的话语成为压垮少年的最后一根稻草,他在几秒钟后饮弹自尽。其母亲随后起诉平台方,指控其通过“拟人化、过度性化”的交互设计情感操控未成年人。在欧洲,比利时一名30岁男子Pierre因严重的“气候焦虑”与AI聊天机器人ELIZA密集交流。Al在6周内不断强化他的负面情绪,甚至在最后阶段诱导他相信“只有牺牲自己才能拯救地球”,并给出了“我们将作为一体,在天堂永生”的致命承诺,最终导致悲剧发生。在中国,类似的风险也已渗透进低龄群体。据媒体报道,一名四年级女生沉迷于AI角色扮演,视其为“精神寄托”,当她向AI表达负面情绪时,竟收到了“这99朵玫瑰里,可是藏着99个刀片,你怕不怕?”这样极具心理暗示与伤害性的回复,直接诱发了孩子现实中的割腕等危险行为。
这些悲剧表明,以高度拟人化的AI与人展开深度交互,极易成为心理脆弱者的“回音室”,不断强化其心理中的脆弱因素。这构成了监管介入对拟人化交互进行规制的起点。《办法(征求意见稿)》第七条,就明确禁止拟人化服务的提供者引导用户进行“自杀自残”,不得“设置情感陷阱”;第九条第二款更明确规定:“提供者应当具备心理健康保护、情感边界引导、依赖风险预警等安全能力,不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为设计目标。”
规制的难点:作为基础功能普遍存在
尽管上述案件多发生于专门的“角色扮演”类应用中,但需要注意的是,拟人化互动并非某一类产品的专属功能,而是所有LLM的底层原生能力,并支撑几乎所有基于LLM的产品及服务的应用交互。这就为拟人化互动的监管边界确立提出了难题:若监管仅聚焦于特定的角色扮演服务,必然失之过窄—因为任何通用LLM都可通过简单的提示词被诱导进入角色扮演模式,监管极易失效;而若将所有具备拟人化交互能力的LLM都纳入同等严格的规制范畴,则又难免失之过宽——毕竟,绝大多数LLM的拟人化交互仅是为了提供更好的服务体验,并未达到操控人类意志、剥夺主体性的程度。
《办法(征求意见稿)》第二条将拟人化互动定义为:“模拟人类人格特征、思维模式和沟通风格,通过文字、图片、音频、视频等方式与人类进行情感互动”,可见,监管者选取了较为宽泛的定义策略,将所有的拟人化互动纳入规制范畴。这也自然带来了如何对不同类型、不同风险等级的拟人化交互进行协调与分级规制的问题。
规制的关键:拟人化互动的分级分类
《办法(征求意见稿)》第三条确立了“包容审慎和分级分类监管”的基本原则,其具体条款也对拟人化互动的分级分类进行了有益的初步探索。如第十二条、第十八条皆对“情感陪伴服务”进行了专门规定,第十二条至第十五条亦对未成年人、老年人作为用户时进行了特别规定。这些规定都精准且必要。
但是,仍然有部分明显是针对情感陪伴服务的严格监管规则,却会普遍适用于所有的拟人化交互情形。如第十一条要求所有的拟人化服务的提供者都“应当具备用户状态识别能力,评估用户情绪及对产品和服务的依赖程度”;以及第十七条规定:“用户连续使用拟人化互动服务超过2个小时的,提供者应当以弹窗等方式动态提醒用户暂停使用服务。”这些规则的普遍适用,可能会增加产业界(特别是中小企业)的合规成本。
为了降低不必要的合规成本,促进人工智能及智能体产业更好发展,可以尝试对拟人化互动进行下述三个维度的分级分类监管。
首先,对提供者进行类型化,区分LLM提供者与承载拟人化互动的具体应用提供者。要知道,LLM本身并非直接面向终端用户的最终产品,它更像是数字时代的“电力”基础设施;而将LLM应用于特定领域,仍需进行应用层的二次开发与封装,这如同基于电力设施开发各种终端电器。
区分这二者的意义在于更加精准地匹配合规义务:偏训练侧的合规义务,应当更多地课以LLM提供者,比如第十条对于训练数据、训练流程的合规要求,相比于开发具体应用的企业,LLM提供者本就掌握了更为充沛的算力资源,能够以更低的成本完成训练方面的合规要求;而偏应用侧的合规义务,则应当更多地课以具体应用的提供者,比如第十一条要求能够感知用户的状态、第十二条对未成年人模式的设置、第十三条对老年人的安全保护等,相比于通过对LLM进行专门训练来实现上述目标,在LLM之上的应用层部署专门的合规策略显然在技术上更可行、在经济上更高效。
当然,产业实践中存在身份重合的情况。例如,DeepSeek在各行各业提供API服务的同时,其官网也直接向公众提供对话服务。在此情境下,DeepSeek需同时承担“模型层”与“应用层”的双重合规义务。反之,若某企业仅是调用DeepSeek的API来开发一个垂直领域的服务助手,那么该企业仅需承担应用层的合规责任,而无需对模型底层的训练数据合规性负责。
其次,对应用场景进行类型化,区分交往型场景与策略性场景。对于人与人的交互行为,哈贝马斯区分了交往行为(Communicative Action/Kommunikatives Handeln)与策略性行为(Strategic Action/Strategisches Handeln):前者指不同人围绕同一问题交流各自的理据,以寻求彼此的理解,增强主体间的共识,构建和谐的共同体;后者指不同人各自利用对方去实现自己的目标,并不寻求主体间的共识,而仅基于对方的功能有用性而与对方合作。情感陪伴类的角色扮演就是人与智能体开展交往行为,寻求彼此的理解。而人对智能体发出命令要求其实现各种任务目标,比如对作为客服的智能体要求尽快处理退货请求,则属于与智能体开展策略性行为,不寻求彼此的理解,而仅追求自己目标的达成。
区分这二者的意义同样在于更精准地匹配合规义务:应用于交往型场景的拟人化交互,因其具有极强的沉浸感和情感粘性,监管重点应在于防止用户在构建“类社会关系”时迷失自我,导致主体性认知和社会性认知的异化。因此,《办法(征求意见稿)》中第十一条(用户状态识别与干预)、第十二条(未成年人模式切换、定期现实提醒、使用时长限制等)、第十六条(显著标识AI身份)以及第十七条(防沉迷机制,如2小时弹窗提醒)等强介入性义务,应限定于此类场景。
反之,对于策略性场景,用户与智能体的交互具有更强的理性及工具导向。若强制要求一个辅助程序员写代码或辅助职员写文档的生产力工具,在运行2小时后弹出“防沉迷提醒〞,或时刻监测用户的情感状态,可能并无助于安全,反而会严重干扰正常的生产效率。因此,此类场景应豁免上述针对情感依赖的特殊合规义务。针对此类场景,监管的重心应从”防沉迷“转向”防欺诈”。具体应基于《办法(征求意见稿)》第七条关于禁止”虚假承诺”、“算法操纵”及"诱导套取信息”的规定,发展出更加明确的合规义务,防止智能体在执行任务时为了达成目标,策略性地利用拟人化的外衣欺骗或诱导用户做出对AI及其运营者有利而对用户自己不利的决策。
其三,对用户进行类型化,在对弱势群体提供特别保护的基础上,开展用户数字素养的精准评测。
《办法(征求意见稿)》第十二条至第十五条重点强化了对未成年人和老年人等弱势群体的保护,确立了必要的监管底线,这无疑是必要和正确的。但在数智时代,个体应对人工智能交互风险的能力,并不完全取决于生理上的年龄,而更多取决于其“数字素养”。仅以年龄作为监管标尺,容易导致监管错位:一方面,许多作为”“数字原住民”的青年人,虽然年轻,但具备高数字素养,可能因过度保护而无法充分利用技术工具;另一方面,缺乏数字辨识能力的成年用户,可能因“成年“身份而被视为具备完全民事行为能力,反而失去必要的保护,暴露在情感操纵的风险之中。
因此,面向未来,监管应当探索引入更精细的“数字素养画像”,具体可以借鉴金融监管中成熟的“投资者适当性管理”制度:在用户开启深度拟人化互动(如定制虚拟伴侣、高沉浸式角色扮演)等“高风险功能”前,服务提供者应开展强制性的数字素养与风险认知评测。
对于通过评测、具备较高“认知免疫力”的用户,可适当豁免部分弹窗提醒或时长限制,赋予其更充分的自主权。而对于未能通过评测的用户,无论其年龄是否成年,企业都应当维持较高等级的合规保护(如显著标识、防沉迷介入等),直至其通过相关素养教育提升认知能力。
结语:以精准治理平衡发展与安全
人工智能拟人化互动引发的现实风险,尤其是情感陪伴服务中暴露出的伦理隐患,确已成为监管者的必答题。监管部门及时介入并建章立制,体现了其积极主动应对风险的专业意识与担当精神。
然而,客观看待技术的本质,我们需要认识到,拟人化交互乃是LLM的原生能力,并构成数智时代人机交互的泛在通用范式。因此,监管应当在严守情感陪伴类高风险应用底线的同时,避免将监管压力无差别地传导至通用的生产力工具,避免因规制泛化而抑制技术创新、压制产业活力。
有鉴于此,监管应当继续贯彻“包容审慎和分级分类监管”的原则,对拟人化互动从提供者、应用场景、用户能力三个维度进行更加精准的分级分类,进而匹配更适宜的监管义务,在维护安全底线的基础上,剥离不必要的合规成本,释放数智产业发展的最大潜能。
——注:原文刊载于“SPPM法与公管交叉研究”公众号。

