虎嗅

老板让我部署免费的K3,我先算了一笔“承担不起”的机房账

该文章尚未提供 日本語 解读,以下为中文版内容。

核心内容总结

中国公司月之暗面推出的K3大模型(2.8万亿参数,全球第三)宣布开源免费下载,但普通人或中小企业根本无法自己部署——因为运行它需要天价硬件和电力成本。开源看似“免费”,实则把门槛从“能不能用”(法律授权)变成了“有没有钱建机房”(物理条件)。而英伟达等硬件厂商反而因开源模型的普及赚得盆满钵满,企业更适合通过API调用而非自建部署来使用K3。

一、开源大模型的“免费”:看着香,吃不到?

很多人以为“开源=免费下载就能用”,但K3的开源和你熟悉的Linux、Firefox完全不同:

  • 开源的不是“代码”,是“权重”:普通开源软件给的是能改的“图纸”(代码),但K3给的是“现成的大脑”(权重)——2.8万亿个数字矩阵,打包1.4TB。你能微调它,却看不懂每个数字的意义,就像拿到米其林菜谱,却没有顶级厨房。
  • 运行门槛高到离谱:K3是“混合专家模型”(MoE),像有896个科室的医院,每次只用16个,但所有科室都得随时待命。要让它流畅运行,官方建议至少64张顶级加速卡(采购费≈1700万人民币),还得配小型工厂级的电力(单显卡功耗45千瓦,是普通家庭用电的4倍)。就算免费给你模型,你家也装不下、带不动。

二、开源的门槛:从“法律”转到“物理”

闭源模型的门槛是“花钱买授权”,开源模型则把门槛换成了“有没有能力建机房”:

  • 闭源:不让用就违法:比如OpenAI的GPT,不付费用就是侵权。
  • 开源:能用但用不起:K3免费下载,但想运行?先花几百万买硬件,再租机房、雇运维,每月电费都是天文数字。传统软件“开发贵、复制运行免费”,大模型则是“开发贵、复制免费、运行超贵”——免费解决的只是“复制”,“运行”的钱一分没省。

三、API调用vs自己部署:哪个更划算?

对企业来说,选择很清晰:

  • API调用:小钱办大事:K3的API每百万输出token只要15美元(比OpenAI便宜3倍),一个月用下来可能只要几千到几万块,是日常开支。
  • 自己部署:烧钱无底洞:就算压缩到极限,也得16张顶级显卡(几百万),还得算电费、机房、运维团队。除非你有强合规需求(数据不能出公司内网),否则API是绝对更优解。
  • 单机部署?想都别想:上一代K2(1万亿参数)还能勉强用顶配Mac跑,但K3直接涨到2.8万亿,单机路彻底堵死——它只属于数据中心或大企业。

四、为什么英伟达等巨头支持开源?

黄仁勋(英伟达CEO)第一次发X推文,就替开源模型站台,看似反常实则精明:

  • 开源模型是“卖铲子”的生意:模型免费了,想跑它的人就得买更多GPU(英伟达的核心产品)。K3越火,需要的显卡越多,英伟达赚得越多。就像淘金热里,卖铲子的永远比淘金的稳。
  • 硅谷巨头集体支持的逻辑:微软、Meta等签公开信保护开源,是因为开源能打破闭源模型(如OpenAI)的护城河,而他们要么卖硬件(英伟达)、要么卖云服务(微软)——开源模型越多,他们的硬件/云需求越大。

五、普通人该怎么看待“开源大模型”?

下次看到“某某大模型开源”的新闻,别先喊“免费了”,先问三个问题:

1. 跑它要多少显卡? 顶级卡一张几万,几十张就是几百万。

2. 电力够吗? 家庭用电根本带不动。

3. 运维成本高吗? 得专业团队盯着。

对普通人来说,直接用API或现成的服务(比如Kimi APP)就够了;对老板来说,别被“免费开源”忽悠——先算硬件账,再决定要不要部署。

最后一句话总结:开源大模型的“免费”,是给有能力建“顶级厨房”的人准备的。对大多数人来说,“用API”才是性价比最高的选择。