虎嗅

中国大模型简史01:模型越做越大,却没人知道它该变成什么

一、核心内容总结

这是《中国大模型简史》的开篇内容,还原了2021年夏到2022年底ChatGPT上线前,国内大模型行业最“懵圈”的蛮荒两年:当时没有任何现成成功案例,没人知道大模型最终能变成什么形态,科研机构、大厂、早期创业者全是摸着黑下注——有人做出了参数比GPT-3还大10倍的超大型模型却找不到落地方向,有人拿着融资连第一款产品该做啥都没想清楚,直到2022年底两件事先后落地:美国出台高端AI芯片出口管制、ChatGPT免费向公众开放,才把整个行业的发展轨迹彻底掰到了我们后来熟悉的全民大模型竞赛的轨道上。

---

二、分点通俗解读

1. 2021年的大模型,根本就不是给普通用户做的

现在大家对大模型的第一印象是聊天机器人,但2021年国内做出来的那些万亿级大模型,完全和“聊天”不沾边。比如当时发布的悟道2.0,参数规模达到1.75万亿,比GPT-3大10倍,里面塞了多模态识别、蛋白质预测等一堆科研功能,唯独没有面向普通人的聊天交互设计。

当时所有从业者的想象都特别“宏大”:有人觉得大模型是发电厂,烧数据产出智能,给所有小AI产品供电;有人觉得大模型是工业流水线,以后不用每个企业要做AI都从零开始标数据、训模型。没人想到最后它会变成一个你我都能随便打字唠嗑的小对话框——相当于一群人造了个巨型发电厂,本来想着给工厂供电,结果后来发现老百姓拿它插电火锅用了,完全超出当时所有人的预期。

2. 早期卷参数真不是为了刷新闻骗融资

很多人后来吐槽早期大模型“比参数大小”是毫无意义的军备竞赛,其实当时科研圈是真的摸到了实打实的新规律:之前做AI是细分领域各玩各的,做翻译的专门研究翻译,做情感分析的专门研究情绪识别,一个研究员靠一个细分方向能吃一辈子。

结果2020年GPT-3出来,大家发现不对了:你只要把模型做的足够大、喂的文本足够多,它居然自己就能同时干翻译、写文案、做数学题好多活,根本不用分开训练。后来还有个被验证的“规模定律”直接实锤:只要你堆参数、堆数据、堆算力,模型的能力就会稳稳往上涨,看不到明显天花板。之前做AI两三张显卡就能搞研究,现在要验证这个规律得几百张卡一起跑,相当于打游戏之前你攒几个普通装备就能通关,后来发现新版本得凑一整个团队的神装才能打副本,大家拼命凑资源把模型做大,真不是为了刷数据骗投资人。

3. 不同背景的玩家,当时对大模型的理解完全各说各话

2021年国内第一批做大模型的玩家,根本没有统一的“标准答案”,全是拿自己过去的老经验往新东西上套:

  • 智源是北京牵头的新型科研机构,拉着清华北大、百度字节一堆机构一起搞,天然觉得大模型是公共基础设施,要做给全行业用的公共发电厂;
  • 华为之前一直给企业做AI解决方案,见多了客户要个AI功能就得从零开始标数据训模型的“手工作坊”破事,所以觉得大模型是工业生产线,把AI开发的重复劳动全干掉;
  • 百度做了二十年搜索,手里攥着50亿实体的知识图谱,所以觉得大模型必须把人类积累的知识装进去,不能只会瞎组词瞎编话。

你把这三家2021年拉到一起开讨论会,说的根本不是一回事,也没人服谁,因为当时谁都没见过真正好用的大模型,谁也不能说自己的路线是错的。

4. 早期大模型创业的离谱程度,远超你想象

2021年底就敢all in大模型创业的人,基本都是旁人眼里的“疯子”。比如后来做MiniMax的闫俊杰,当时找融资的时候,别说ChatGPT了,全世界连个能抄的大模型聊天产品都没有,他自己都不知道第一款产品该做啥,投资人投他纯粹是觉得“这个年轻人讲的东西虽然听不懂,但感觉是未来”。

后来他们好不容易训出来300亿参数的模型,发现它经常张嘴瞎编胡说,根本做不了靠谱的办公助手,没办法只能顺着它的能力做了个AI陪聊产品Glow,让用户自己捏虚拟角色玩——反正AI编故事也不算缺点。那时候的大模型创业根本不是“拿着清晰的商业计划书落地”,完全是先把模型做出来,看它能干啥,再反过来找能用的场景,相当于你先随便造了个工具,拿着它满大街转,看谁家需要这个东西。

5. 2022年底的两件事,直接把大模型的游戏规则彻底写死了

2022年10月之前,国内大模型圈虽然懵,但至少还有个明确的奔头:凑算力,把模型继续往大了做,慢慢找应用场景。结果两个月之内连续出了两个大事,直接把之前的所有节奏全打乱了:

第一件是美国出台芯片管制,最适合训大模型的A100/H100高端芯片不让随便卖给中国了,之前大家只是愁算力贵,现在直接愁能不能买到,相当于打游戏刚凑齐一半装备,官方直接把你买装备的渠道封了;

第二件是ChatGPT直接免费上线,一个所有人都能随便用的聊天框,把之前大家争论了两年的“大模型到底能干啥”的问题直接给出了答案,之前想做发电厂、做工业生产线的人瞬间全反应过来:哦原来大模型最直观的用户界面是聊天啊!之前所有的路线分歧,瞬间就有了统一的参照物,整个行业直接从“盲人摸象”阶段进入了“所有人抢船票”的全民竞赛新阶段。