虎嗅

AI 时代,再重读《失控》

该文章尚未提供 Español 解读,以下为中文版内容。

核心内容总结

本文围绕凯文·凯利的《失控》一书展开,分析了它的三个历史阶段(1994年美国遇冷、2010年中国成为“互联网圣经”、当下第三个值得重读的时刻),纠正了对“失控”的常见误读(不是机器造反,而是复杂系统的生物式运作),验证了书中关于复杂系统的部分预言(如AI大模型的“涌现”特性),指出了其对AI时代权力集中的错判,最后给出了对企业管理和系统治理的启示——接受系统复杂性的同时,不能放弃问责与规则约束。

一、别被科幻骗了!“失控”不是机器人造反,是系统自己“活”起来

很多人以为《失控》讲的是AI觉醒反人类,但其实凯利说的“失控”是另一个意思:当技术系统变得足够复杂时,它会从“机械控制”变成“生物式运作”。

比如蜂群没有总指挥却能找到花蜜,蚁群没有总司令却能建复杂巢穴——这些系统靠的不是中央指令,而是大量简单规则的相互作用。凯利的核心结论是:要让系统有生命般的适应力,就得放弃精确控制。这不是牺牲,而是必然:你想让系统灵活应对变化,就不能把它绑死在固定流程里。

书里的“神之九律”也体现了这点,比如“尊重错误”(把错误当探索,不是缺陷)、“不求单一最优”(维持多个目标的平衡)——这些不是鸡汤,是复杂系统的“操作手册”。

二、三十年前的预言成真!今天的AI大模型真的是“长”出来的

凯利1994年写书时,根本不知道什么是大模型,但他关于“复杂系统无法被单一个体完全掌握”的判断,现在被AI验证得明明白白。

过去的软件是“写”出来的:工程师逐行写代码,输入什么输出什么,bug能找到具体哪一行。但今天的大模型是“长”出来的:工程师给数据、算力和目标(比如“让回答更像人”),然后模型自己训练,最后突然冒出一些没人写过的能力(比如写诗歌、解数学题)。而且同一个问题换个说法,结果可能不一样——这更像生态系统,不是一段程序。

更关键的是,现在没有任何人能完整理解大模型:研究者懂训练方法,工程师懂架构,安全团队懂风险,但没人能把所有部分拼起来。互联网、金融市场、供应链也一样——系统越复杂,越没人能全搞懂。

三、警惕!把AI当“生命”是偷懒的借口,它只是复杂的统计游戏

现在很多人说大模型“像生命”,这其实是个危险的误区。

AI的“不可解释”,不是因为它有了生命,而是因为它的参数太多(比如千亿级),相互作用太复杂,人类没法直观追踪——就像你扔一堆骰子,结果很难预测,但不是因为骰子有生命。而生物的适应力是数十亿年自然选择来的,目标是“活下去”(内生的);AI的目标永远是人类给的(比如“答对题”“生成通顺的句子”)。

把AI当生命会让人逃避责任:“既然它像生命,就没法理解,只能敬畏”。但如果承认是统计复杂度,责任就回来了——我们可以研究怎么解释它,设计评测标准,设定边界。凯利现在也说,光靠大语言模型不够,得和逻辑AI结合,让模型从“懂文字”变成“懂世界”(比如知道杯子掉地上会碎),这是工程问题,不是“生命问题”。

四、书里最大的错:以为权力会去中心化,结果AI时代反而更集中

《失控》的核心世界观是“去中心化”:自下而上控制、边缘比中心重要。1990年代的互联网确实这样——开源、P2P、维基百科,权力往普通人手里流。但生成式AI出现后,剧本反过来了:

训练一个前沿模型需要超级算力、海量资本、大的数据中心和电力——这是人类历史上资本最集中的技术。产品内部像生态(分布式),但生产它的权力却集中在少数巨头手里(比如OpenAI、谷歌、百度)。凯利自己也意识到这点,他现在最担心的不是AI造反,而是AI的所有权——是开放给公众,还是被少数公司垄断?

五、面对“长出来”的系统,管理和治理得换玩法

对企业来说,这不是哲学问题,是实际方法问题:

  • 如果系统是“写”出来的,管理靠规格书、测试(确保它按指令做);
  • 如果系统是“长”出来的(比如大模型),管理更像“育种”:

1. 目标函数:告诉模型“什么是好的”(比如“回答要准确”),决定它往哪个方向长;

2. 评测:测它的能力,没被测的地方可能会退化;

3. 护栏:约束它的后果(比如不让它生成有害内容);

4. 可观测性:事后看它为什么出错,比事前设计更重要。

对社会来说,不能因为系统复杂就放弃问责:人类不懂自己的心智,但有法律;金融市场不可预测,但有熔断机制。这些制度不假装懂系统内部,只确保外部行为可追责、可中断——这才是“与复杂性共存”的正确方式,不是敬畏,是治理。

结语

重读《失控》,不是看它预言了多少未来(它没料到Transformer或ChatGPT),而是看它提出的“交易”:系统越强大,越难解释。关键是,我们在接受这个交易时,有没有加上“问责、验证、可中断”这些条款?经典之所以不朽,是因为未来走到了它描述的位置,而它没预测到的部分(比如权力集中),恰恰是今天最该思考的问题。