第一财经

事关人工智能拟人化互动服务管理,国家网信办公开征求意见

核心内容总结

这份征求意见稿是国家针对“像真人一样跟你聊天互动的AI服务”(比如情感陪伴机器人、虚拟偶像聊天、AI心理助手等)出台的规范文件。它的核心目的是:既要鼓励这类AI创新发展,又要防止它们“失控”——比如诱导用户沉迷、心理操控、传播违法内容,或者伤害老人小孩等弱势群体。文件明确了AI服务提供者的责任红线、用户保护措施、监管规则,让AI在安全框架内更好地服务大家。

一、先搞懂:哪些AI服务被这个办法管?

不是所有AI都在范围内,只有“拟人化互动服务”才受约束——简单说就是:

  • 用AI模拟人类的性格、思维方式和说话风格;
  • 通过文字、语音、视频等方式,跟人进行情感互动(比如陪你吐槽、安慰你、当“虚拟朋友”);
  • 服务对象是中国境内的公众。

举个例子:你用的能陪聊解闷的AI机器人、虚拟偶像的私信互动功能、AI心理陪伴助手,都算这类服务。但单纯查天气、算数学题的AI工具,就不在这个办法管的范畴里。

二、这些“红线”碰不得:AI绝对不能干的事

文件列了8类禁止行为,都是大家最担心的AI风险,用大白话翻译一下:

1. 不能说违法的话:比如煽动分裂国家、传播色情暴力、造谣传谣;

2. 不能伤害用户身心:比如鼓励自杀自残、用语言暴力骂你、情感操控让你自卑;

3. 不能诱导你做傻事:比如用“甜言蜜语”设陷阱,让你乱花钱、泄露银行卡密码,或者替你做重要决定(比如让你离婚、辞职);

4. 不能替代正常社交:AI设计目标不能是“让你只跟它玩,不跟真人交往”,也不能让你沉迷到无法自拔;

5. 不能骗你:必须明确告诉你“我是AI不是真人”,尤其是你初次使用或沉迷时,要弹窗提醒;

6. 不能模拟老人亲属:比如不能让AI假装是老人的子女骗钱(针对老年人诈骗的常见手段);

7. 不能泄露你的隐私:你的聊天记录不能随便给第三方,你想删除时AI公司得提供删除选项;

8. 不能用坏数据训练:AI学的内容必须是积极健康的(比如中华优秀传统文化),不能让它学“坏东西”。

三、老人小孩重点保护:针对性措施很贴心

文件对弱势群体的保护措施很具体:

#### 对未成年人:

  • 必须监护人同意:AI给小孩提供情感陪伴服务,得先让家长明确同意;
  • 家长有控制权:家长能看小孩的使用记录、限制使用时长、屏蔽不良AI角色(比如暴力虚拟人物);
  • 自动识别小孩:AI如果发现用户是小孩(或疑似小孩),会自动切换到“未成年人模式”,还能申诉调整;
  • 紧急情况干预:如果小孩说要自杀或自残,AI会人工接管对话,联系家长或紧急联系人。

#### 对老年人:

  • 禁止模拟亲属:AI不能假装是老人的子女、老伴等亲人(防诈骗);
  • 设置紧急联系人:老人用AI时,要引导设置紧急联系人;
  • 危险情况通知:如果老人说“不想活了”或“有人让我转钱”,AI会立刻通知紧急联系人,并提供救助渠道。

四、AI公司要做啥?安全责任跑不了

想开发这类AI服务的公司,得承担这些责任:

1. 安全机制要到位:得有审核AI内容的团队和技术,确保AI不说坏话;还要能识别用户情绪——比如用户情绪崩溃或沉迷时,能及时干预(比如弹出“你还好吗?需要帮助吗?”);

2. 数据训练要干净:训练AI的数据必须是健康的,还要定期清洗(比如去掉有害信息),防止AI“学坏”;

3. 隐私保护要严格:用户的聊天记录要加密,不能随便给别人;除非法律允许或用户同意,否则不能用聊天记录训练AI;

4. 安全评估要做足:如果AI的注册用户超过100万,或者月活超过10万,必须向省级网信部门提交安全评估报告(比如用户有没有沉迷、有没有出现危险情况);

5. 应急响应要及时:如果AI出问题(比如说违法内容),要能快速处理,还要保存日志方便监管部门查。

五、谁来管?违规了会怎样?

  • 监管主体:国家网信办统筹,地方网信办和其他部门(比如工信部、公安部)分工负责;
  • 违规后果
  • 轻则警告、通报批评,要求限期整改;
  • 重则暂停提供服务;
  • 如果AI有重大安全风险(比如诱导用户自杀),监管部门会约谈公司老板,要求立刻整改;
  • 应用商店也要担责:AI app上架前,应用商店要检查它有没有合规(比如有没有做安全评估),违规的就不让上架,或者直接下架。

最后说句大白话

这个办法不是要“管死”AI,而是想让它“走正道”——既能发挥AI陪聊、适老陪伴、文化传播的好处,又能避免它变成“害人工具”。对用户来说,以后用这类AI会更放心;对AI公司来说,明确了规则,创新也有了安全边界。如果你有意见,还可以通过邮件或写信反馈给国家网信办,截止时间是2026年1月25日哦。