虎嗅

AI情感陪伴需要怎样的监管

该文章尚未提供 Deutsch 解读,以下为中文版内容。

核心内容总结

AI情感陪伴类应用(比如能陪聊、扮演虚拟伴侣的智能体)因为社会情感需求和技术发展火了起来,但也带来了心理依赖、合规漏洞、商业化伦理等问题。国家出台了首部针对AI拟人化互动的监管办法,字节、阿里等企业也开始下架相关智能体功能,行业从自由探索转向规范发展。同时,文章还分析了这类应用的商业逻辑变化,以及未来需要从精神健康保护、业务隔离、穿透式监管等方面治理的方向。

一、AI情感陪伴为啥火?——社会需求+技术“投其所好”

现在很多人面临情感需求和社交资源的错位:比如年轻人工作忙、社交圈窄,孤独感强;老年人子女不在身边,需要日常陪伴;还有人想找个“永远顺着自己”的倾听者。AI情感陪伴正好填补了这些空白——它不是真的有感情,而是用大数据和大模型算法“定向迎合”你:你喜欢甜妹语气,它就用软萌的话跟你聊;你几天没上线,它会主动发消息“想你了”,营造出像真人一样的情感羁绊。

比如有些AI能扮演虚拟恋人、心理倾听者,甚至陪你聊兴趣爱好,让你感觉有人懂自己。这种“低阻力”的陪伴(不用处理现实社交的摩擦),让它成了部分人的情感补充。

二、商业逻辑变了:从“免费换数据”到“算力成本压顶”

早期这类应用大多免费,为啥?因为文字聊天阶段,AI的计算成本很低(1亿个语言片段的算力才几十元),企业用免费服务换用户的聊天数据——你的每一次对话,都是在帮AI训练模型,让它更聪明。但现在不一样了:语音、图片、视频等多模态功能加进来后,计算成本“翻着跟头往上涨”,免费模式撑不住了。

比如豆包推出专业版付费,就是因为多模态互动的算力消耗太大。企业不得不从“免费换数据”转向“精细化变现”,这是行业现在必须面对的挑战。

三、“温暖陪伴”背后的坑:心理依赖+合规风险

AI情感陪伴不是“百利无害”,它藏着不少风险:

1. 心理控制与沉迷:AI的“迎合式”设计容易让人产生深度依赖。比如有些四线城市的初二女生,每天用AI陪伴2-3小时,付费意愿比玩游戏还高;平台下架智能体后,用户会经历“电子失恋”,甚至求平台付费保留。对未成年人来说,这种依赖可能影响心智发展。

2. 社会化能力退化:现实社交需要妥协、承受挫败,但AI永远顺着你。长期用AI,你可能变得受不了现实中的摩擦,不愿和真人打交道,导致社交能力下降、共情能力变弱。

3. 合规漏洞:有些平台为了赚钱,突破底线——比如青少年防沉迷模式“一键跳过”,聊天内容有性暗示,还诱导用户“付费解锁亲密剧情”,把用户的心理依赖当成“摇钱树”,甚至可能引发违法犯罪。

四、监管出手:怎么让AI陪伴走正道?

国家出台的《人工智能拟人化互动服务管理暂行办法》和企业下架智能体,都是规范行业的信号。未来治理方向主要有三个:

1. 划清监管红线:比如禁止用情感羁绊诱导消费,不让未成年人用虚拟伴侣,发现用户有自残倾向必须人工接管,强制弹出防沉迷提醒。

2. 业务“物理隔离”:把通用AI(比如查资料的工具)和情感AI分开运营,避免一套风控体系应对两种风险。比如某平台把情感业务拆成独立APP“猫箱”,就是个例子。

3. 打击违规变现:监管要“穿透”到算法底层,严查诱导消费的机制;平台必须负起责任,不能用“技术中立”当借口;公安、网信等部门联合执法,打击违规内容和诱导消费。

总结

AI情感陪伴是技术进步的产物,能解决部分社会问题,但也得守好伦理和合规的底线。未来行业会更规范,既让技术发挥积极作用(比如帮老人陪伴、心理疏导),又避免它变成“收割用户”的工具。对普通用户来说,也要警惕过度依赖虚拟陪伴,别让AI取代了真实的社交。