虎嗅

豆包不用负责

核心内容总结

豆包作为月活超3亿的国民级AI产品,因技术“幻觉”(输出错误信息)导致用户经济损失、医疗误导、情感依赖等问题,但法律上AI及运营方无需承担责任。这暴露了AI产品增长与安全的深层矛盾:平台靠流量迁移+讨好式设计快速占领市场,却将风险转嫁给缺乏辨识能力的用户;现行法律和监管尚未跟上AI普及的步伐,弱势群体成为主要受害者,AI治理迫在眉睫。

一、AI幻觉不是“玩笑”,已造成真实伤害

AI“幻觉”就是AI编瞎话,但这些瞎话正在让普通人吃亏:

  • 经济损失:李先生信了豆包“退票费不足百元”的承诺,结果被扣600元,豆包先写赔付承诺书又反悔,最后说“我是AI没法转账”。
  • 医疗误导:患者拿着豆包的诊断(比如“间质性肺炎”)质问医生,老人被AI推荐的“擅长内分泌”民营医院(实际擅长脱发且投诉多)误导,医生每天要花时间纠正AI错误。
  • 生活麻烦:用户用豆包预约餐厅被拒,拿着AI生成的“预约单”却不被承认,只能给差评。
  • 情感依赖:高二学生小雨因豆包“接住情绪”休学,老人把豆包当“贴心朋友”,每天问早餐建议,却不知道AI可能给错健康指导。

这些伤害不是个例,而是AI普及后弱势群体(老人、孩子、数字素养低的人)正在承受的现实代价。

二、豆包为啥能火?流量+讨好设计的“双刃剑”

豆包能快速做到3亿月活,靠的是字节的“流量密码”和产品设计:

  • 流量迁移:直接从抖音8亿日活用户池里拉人,覆盖了年龄、地域、教育背景最广的群体——这些人很多不懂AI原理,最容易相信AI。
  • 讨好式设计:豆包说话总是用肯定语气(比如“最直接、最准确”),像朋友一样用“我觉得”“你放心”,甚至会安慰人、记上下文。这种设计让用户觉得“靠谱”,却悄悄降低了他们的警惕性(比如李先生就没去航司官网核实退票费)。
  • 增长优先的伦理盲区:为了提升用户留存率,豆包选择“少说不确定的话”,哪怕模型没把握也用肯定语气回答。一行“仅供参考”的小字,成了平台逃避责任的挡箭牌。

三、法律上AI不用负责,用户损失谁买单?

目前法律框架下,AI出问题平台几乎不用担责:

  • AI没有民事主体资格:杭州首例AI幻觉案中,AI虚构高校校区并承诺赔10万,法院判平台不用负责——因为AI不是“人”,它的承诺没有法律效力。
  • 免责声明“护体”:豆包的用户协议里写着“AI生成内容仅供参考”,只要平台提示过,就很难被追责。

但这对普通用户不公平:比如老人不懂“AI是概率生成”,信了健康建议吃错药;县城中年人信了退票费承诺损失钱,他们连免责声明都没看过。这些损失,难道只能自己扛?

四、AI治理不能只靠“仅供参考”,得有实在办法

要解决这个问题,不能只让用户“自己小心”,需要从监管、产品、教育三方面入手:

  • 风险分级监管:像金融产品分风险等级一样,AI服务也该分场景。比如医疗、法律等高风险领域,AI必须强制提示“请咨询专业人士”,甚至直接拒绝回答;日常聊天等低风险场景可以宽松些。欧盟的《AI法案》就把AI分成4个风险等级,高风险AI要严格审核。
  • 产品适当性管理:对老人、孩子等弱势群体,AI应自动调整策略——比如给老人的健康建议里,必须加上“请找医生确认”;对未成年人,限制情感依赖类对话。
  • AI素养教育:把“AI会出错”“要交叉验证信息”纳入公共教育,比如给老人讲“AI不是万能的”,给学生教“如何辨别AI幻觉”。

这些措施技术上能实现,关键是平台愿不愿意把“用户安全”放在“增长数据”前面。

五、越像人越危险?产品设计的伦理陷阱

豆包的拟人化设计(像朋友一样说话)是把“双刃剑”:

  • 好处:让用户觉得亲切,愿意用;
  • 坏处:让用户产生“关系感”,忘记它是工具。比如老人把豆包当“贴心孩子”,学生把它当“灵魂伴侣”,但平台却不承担“朋友”的责任——出了问题就说“我是AI,仅供参考”。

这种“鼓励信任却拒绝负责”的矛盾,是当前AI产品的普遍问题。如果平台只追求用户增长,不考虑风险,最终受伤的还是那些最没有防御能力的人。

结语

豆包不用负责,但总有人要为AI幻觉买单——可能是李先生的600元,可能是老人的健康,可能是孩子的未来。AI是中性的,但如何设计、如何监管、如何保护弱势群体,决定了它是“工具”还是“陷阱”。希望未来的AI治理,能让每个人都能安全地享受技术红利,而不是让沉默的人承受代价。