.:. 草榴社區 » 技術討論區 » 黄仁勋辞任后,聊聊Kyber机架的供电和散热改动
--> 本頁主題: 黄仁勋辞任后,聊聊Kyber机架的供电和散热改动 字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
开局就是输


級別:新手上路 ( 8 )
發帖:299
威望:40 點
金錢:729 USD
貢獻:302 點
註冊:2021-10-21


黄仁勋辞任后,聊聊Kyber机架的供电和散热改动



前两天看到英伟达那则公告,黄仁勋辞去总裁、CEO和董事职务,CFO Colette Kress接手临时CEO。说实话第一反应是“这公司要变天了”,但冷静下来一想,对像我这种自己攒推理集群的散户来说,最该关注的不是谁上位,而是之前传闻里提到的Rubin Ultra延期和Kyber机架改动。大摩路演里黄仁勋否认了Rubin Ultra延期,说按计划明年推,但Kyber机架架构调整了。这玩意儿才是真正的痛点。

我去年底刚搞完一个小型推理集群,主要是跑开源LLM的推理服务,规模不大,就32张A100和十几张H100混着用。当时布线时最头疼的就是供电。标准机架通常走380V直流或480V交流,但H100单个节点峰值功耗能到700W,32张卡加上交换机、存储,单机架功率密度轻松破20kW。我一开始想用800V直流供电,结果发现国内机房能提供800V直流母线的供应商极少,大部分只走380V或240V。最后妥协成480V交流转直流,效率降低了大概3-4%,多出来的热还得额外风冷。现在英伟达那边要推800V直流,对大型数据中心是利好,但对中小玩家来说,意味着要么改造配电柜,要么等新规格的PDU上市,周期至少半年。

另一个改动是光互连。老架构里机架间通信主要靠铜缆,距离一长信号衰减大,带宽受限。Kyber机架据说要集成光互连,直接走光纤。这玩意儿对推理延迟改善明显,尤其是跨机架做张量并行的时候。我之前用H100跑Llama 3 70B,跨机架通信延迟占推理总延迟的15%左右,换成光互连应该能压到5%以下。但光模块的到货周期现在是个问题,我认识的做光模块的朋友说,800G光模块交期已经排到12周以上,英伟达自己又囤了不少,小厂想拿货得加价。

机架功率密度这块,Rubin系列传闻是单GPU功耗可能到1500W,比H100翻倍还多。这意味着散热方案得从风冷转液冷。我现在的集群是风冷,夏天最热时进风口温度35度,GPU温度能飙到85度,风扇转速拉满噪音堪比吸尘器。如果下一代卡真到1500W,风冷根本压不住,必须上冷板式液冷。液冷改造包括管道、水泵、冷板、CDU,一套下来成本至少是风冷的1.5倍,而且机房需要有排水和防漏设计。我算过一笔账,如果全换液冷,现有集群的改造费用接近新购一半卡的价格,所以暂时只能观望。

这三个改动——800V供电、光互连、液冷——对自建集群的影响是实打实的。到货周期上,新架构卡可能要等8-12周,配套的供电和散热设备可能更久。大摩路演里提到管理层对增长偏乐观,单季营收逼近1000亿,说明需求还在涨,但供应链瓶颈没解决。小玩家要么加钱插队,要么等两三个季度后产能爬坡。

最后说句实在的,技术路线调整是常态,但每次改架构都等于重新布线、重新算散热、重新调网络,成本和时间都不小。

赞(35)
DMCA / ABUSE REPORT | TOP Posted: 11-16 11:31 樓主 引用 | 發表評論
老灰猪


級別:風雲使者 ( 13 )
發帖:4483
威望:4941 點
金錢:45535 USD
貢獻:200080 點
註冊:2014-09-08


感谢分享
------------------------
TOP Posted: 11-16 11:38 #1樓 引用 | 點評
一次三秒


級別:新手上路 ( 8 )
發帖:316
威望:32 點
金錢:496 USD
貢獻:0 點
註冊:2026-07-08

1024
TOP Posted: 11-16 11:45 #2樓 引用 | 點評
闲过信陵饮


級別:新手上路 ( 8 )
發帖:424
威望:43 點
金錢:2032 USD
貢獻:0 點
註冊:2018-05-02

这篇续篇把供电、光互连和液冷三块串起来了,自建集群的实测经验最值钱。转直流那点效率损失和液冷改造成本这两笔账,确实是小集群上新机架最现实的门槛。
TOP Posted: 11-16 11:48 #3樓 引用 | 點評
洛子垣


級別:聖騎士 ( 11 )
發帖:1107
威望:112 點
金錢:923639 USD
貢獻:30200 點
註冊:2015-05-26

英伟达没了老黄,相当于没了发动机,老黄的技术判断,战术定力,托举整个公司路线
TOP Posted: 11-16 11:50 #4樓 引用 | 點評
三甚三工


級別:精靈王 ( 12 )
發帖:10489
威望:1134 點
金錢:402 USD
貢獻:432 點
註冊:2015-02-08

特献上邀请码一枚以示支持XXXX1c9fcab2ef47提示藤原托海。最后说一句,黄仁勋必定会回到英伟达。因为科技不是行政,某些关键部件不是说换就可以换的。换了必然会出现问题的。投资者对于收益是唯一的目标。你谁做CEO他们不管。但如果影响到他的预期收益,那就是天王老子他也敢打了。
TOP Posted: 11-16 11:59 #5樓 引用 | 點評
雲慕雨


級別:騎士 ( 10 )
發帖:1892
威望:353 點
金錢:15872 USD
貢獻:0 點
註冊:2024-12-12

感谢分享技术
TOP Posted: 11-16 12:00 #6樓 引用 | 點評
夏季的季风


級別:精靈王 ( 12 )
發帖:5025
威望:923 點
金錢:108 USD
貢獻:6132 點
註冊:2025-11-05

英伟达没有黄仁勋不知道能走多远
TOP Posted: 11-16 12:08 #7樓 引用 | 點評
铁甲二流子


級別:精靈王 ( 12 )
發帖:52117
威望:3439 點
金錢:277125 USD
貢獻:2000 點
註冊:2017-02-06

高科技
TOP Posted: 11-16 12:19 #8樓 引用 | 點評
雨下一整整夜


級別:俠客 ( 9 )
發帖:601
威望:161 點
金錢:8300 USD
貢獻:59 點
註冊:2026-10-25

黄仁勋一走机架供电真改了不少
TOP Posted: 11-16 12:41 #9樓 引用 | 點評
烟月


級別:精靈王 ( 12 )
發帖:9642
威望:1000 點
金錢:12853 USD
貢獻:0 點
註冊:2026-02-27

感谢分享
TOP Posted: 11-16 13:43 #10樓 引用 | 點評
史泰龙Stallone


級別:聖騎士 ( 11 )
發帖:2645
威望:606 點
金錢:20530 USD
貢獻:333 點
註冊:2025-07-14


感谢分享
TOP Posted: 11-16 15:30 #11樓 引用 | 點評
快乐的图灵


級別:精靈王 ( 12 )
發帖:35398
威望:3520 點
金錢:16397 USD
貢獻:0 點
註冊:2022-02-12

感谢分享
TOP Posted: 11-16 17:32 #12樓 引用 | 點評
witkey


級別:騎士 ( 10 )
發帖:3490
威望:350 點
金錢:4354 USD
貢獻:0 點
註冊:2020-02-24

感谢分享
TOP Posted: 11-16 18:20 #13樓 引用 | 點評
怪蛋


級別:精靈王 ( 12 )
發帖:23272
威望:2691 點
金錢:2238553 USD
貢獻:0 點
註冊:2008-08-13

感谢分享
TOP Posted: 11-16 19:18 #14樓 引用 | 點評
全都要


級別:新手上路 ( 8 )
發帖:466
威望:47 點
金錢:987 USD
貢獻:0 點
註冊:2026-08-29

感谢分享
TOP Posted: 11-16 19:29 #15樓 引用 | 點評
镶金边


級別:精靈王 ( 12 )
發帖:23444
威望:2321 點
金錢:66119 USD
貢獻:700 點
註冊:2022-05-07

明珠城啊
TOP Posted: 11-16 19:55 #16樓 引用 | 點評
孔三妈


級別:精靈王 ( 12 )
發帖:10782
威望:1140 點
金錢:52848 USD
貢獻:27740 點
註冊:2021-12-01


英伟达不能没有黄仁勋,就像西方不能没有耶路撒冷‌!
TOP Posted: 11-16 20:16 #17樓 引用 | 點評
苏筱熙


級別:天使 ( 14 )
發帖:174777
威望:72936 點
金錢:28499 USD
貢獻:69 點
註冊:2012-09-01

支持一下
------------------------
TOP Posted: 11-16 22:44 #18樓 引用 | 點評
这是个问题啊


級別:光明使者 ( 14 )
發帖:81780
威望:8254 點
金錢:250 USD
貢獻:137884 點
註冊:2021-01-01

发帖辛苦
TOP Posted: 11-16 23:09 #19樓 引用 | 點評
沉睡的木玛


級別:光明使者 ( 14 )
發帖:81780
威望:8344 點
金錢:258 USD
貢獻:132884 點
註冊:2018-11-16

支持发帖
TOP Posted: 11-16 23:09 #20樓 引用 | 點評
鸭打鹅


級別:風雲使者 ( 13 )
發帖:72700
威望:7264 點
金錢:50 USD
貢獻:34781 點
註冊:2022-02-02

谢谢分享
TOP Posted: 11-16 23:10 #21樓 引用 | 點評
镶金边


級別:精靈王 ( 12 )
發帖:23444
威望:2321 點
金錢:66119 USD
貢獻:700 點
註冊:2022-05-07

改架构都等于重新布线、重新算散热、重新调网络
TOP Posted: 11-17 09:12 #22樓 引用 | 點評
英雄伍迪


級別:新手上路 ( 8 )
發帖:451
威望:46 點
金錢:798 USD
貢獻:0 點
註冊:2026-09-26


感谢作者的分享
TOP Posted: 11-17 12:02 #23樓 引用 | 點評
qqq0623


級別:風雲使者 ( 13 )
發帖:63376
威望:6190 點
金錢:2017545 USD
貢獻:1137 點
註冊:2011-06-06

感谢分享
TOP Posted: 11-17 15:35 #24樓 引用 | 點評

.:. 草榴社區 -> 技術討論區

快速回帖 頂端
內容:
HTML 代碼不可用

使用簽名
Wind Code自動轉換

按 Ctrl+Enter 直接提交