核心内容总结
这篇访谈围绕AI从“模型时代”向“Agent时代”过渡展开,核心讨论了Agent Infra(智能体基础设施)这个巨头们暗中布局的关键赛道。Agent能完成真实任务,但大规模落地生产还面临模型能力不足的瓶颈;Agent Infra也从过去的纯软件系统,变成了“软硬一体”的复杂体系(以GPU为核心)。访谈还对比了国内外巨头(Google、英伟达、OpenAI、Anthropic等)在Agent Infra上的不同打法,分析了算力、存储、网络三大技术挑战,以及国内Infra因多芯片适配和开源优势形成的独特路径,最后强调这是工程师的黄金时代——因为Infra的探索空间和影响力都变得更大了。
一、Agent时代,基建从“纯软件”变成“软硬混搭”
原来的AI基建(Infra)是纯软件的——比如CPU时代,芯片是通用的,软件直接跑就行。但现在Agent时代,基建变了:
- GPU成了核心:GPU算力强,但“不通用”(像只会干重活的壮汉,不能像CPU那样啥活都干)。所以基建必须把硬件(GPU芯片)和软件(模型优化、工具调用)绑在一起,变成“软硬一体”。
- 任务变了:原来基建只负责模型的“推理调用”(比如ChatGPT聊天),现在Agent要完成真实任务(比如写代码、处理文件),需要完整的环境——得搭工具、管记忆、控流程,这就要求基建能支持多轮迭代、稳定运行。
二、Agent能做demo却难上生产线?模型能力不够是关键
现在Agent做个小demo很容易(比如让它写个简单报告),但要放到生产环境(比如替代后端工程师干活)却很难,问题出在模型能力的边界:
- 边界条件覆盖不了:生产任务需要处理各种意外情况(比如用户输入错误、工具调用失败),但模型目前还做不到“面面俱到”。
- 岗位级任务搞不定:Agent能完成单一任务(比如查数据),但要替代一个岗位(比如做产品经理),需要整合多技能、多流程,模型还没这个本事。
- 结果不可复现:生产环境要求每次执行结果一致,但Agent现在经常“同一问题不同答案”,这就需要基建层面解决“可控性”问题。
三、巨头们的Agent Infra战争:各有各的打法
巨头都在抢Agent Infra的入口(相当于未来的“操作系统”),但路径不同:
- Google:全栈整合(自己做芯片TPU+模型Gemini+软件JAX),内功深厚。TPU做了10年,和模型、软件完美适配,成本低且性能强。
- 英伟达:从芯片到系统的垂直整合。它不只是卖GPU,还做了CUDA软件生态、超节点互联(让多GPU高速协作),甚至收购Groq做推理芯片——现在最先进的模型都跑在它的系统上,生态壁垒高。
- OpenAI:生态平台打法。想做“AI版App Store”(GPT Store),一边和博通合作做芯片保算力,一边靠生态粘住用户。
- Anthropic:轻资产聚焦高价值任务。不自己做芯片,靠和大厂合作拿算力,重点做模型OS(比如Claude Code),帮用户完成 coding 这类高价值任务。
四、三大技术拦路虎:算力、存储、网络怎么破?
Agent时代,基建面临三个核心挑战:
1. 算力:Agent执行任务要调用大量工具、处理长上下文,需要更强的推理集群。而且要适配国产芯片(国内环境特殊),得解决不同芯片的性能差异问题。
2. 存储:Agent需要存大量上下文和记忆,高端存储(比如HBM)短缺。存储扩产慢(建生产线要2年+),而AI需求爆发,导致存储涨价。
3. 网络:Agent协作需要高速互联,现在巨头都在做“超节点”(把多个GPU甚至机柜用高速总线连起来),提升通信带宽10倍以上。
还有个隐藏信号:CPU消耗增加。Agent调用工具比人频繁,会用更多CPU——如果CPU消耗上升,说明Agent真的在生产环境落地了。
五、国内Infra的独特路:多芯片适配+开源,还有新指标DAA
国内Infra和海外不一样,有自己的玩法:
- 多芯片适配:国外主要用英伟达,国内要支持国产芯片(比如华为、百度昆仑芯),所以基建必须能兼容不同芯片,这倒逼出独特的技术路径。
- 开源优势:国内开源模型(比如文心一言、Llama系)比国外更活跃,大家能一起优化架构,加速Infra迭代。
- 新指标DAA:百度提出“Daily Active Agents”(日活智能体),替代原来的“token消耗”——因为token容易被浪费(比如无效调用),DAA更关注Agent完成的真实任务价值(比如每天有多少Agent稳定执行高价值工作)。
最后,访谈里说:这是工程师的好时代。因为Agent Infra的探索空间大,从芯片到软件、从模型到工具,都有很多创新机会,而且工程能力的重要性越来越高——现在拼的不是“灵光一闪”的算法,而是能把整个系统搭起来、优化好的工程实力。
这篇访谈其实告诉我们:Agent是未来,但要让它真正“好用”,背后的基建是关键。巨头们都在抢这个“隐形战场”,而工程师们有机会在这个过程中创造出改变行业的东西。