.:. 草榴社區 » 技術討論區 » 聊聊英伟达机架改动的几个点,跟自建推理集群直接相关
--> 本頁主題: 聊聊英伟达机架改动的几个点,跟自建推理集群直接相关 字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
开局就是输


級別:新手上路 ( 8 )
發帖:299
威望:40 點
金錢:703 USD
貢獻:302 點
註冊:2021-10-21


聊聊英伟达机架改动的几个点,跟自建推理集群直接相关



这两天英伟达公告动静不小,但比起人事,我更关心他们11月12日公告里带出的技术信号——尤其是大摩路演纪要里提到的Kyber机架架构调整。正好我手里有个自建推理集群的单子,从去年底就在规划,一直拖着没定方案,这回算是逼着我把图纸改了一遍。

先说Rubin Ultra的时间线。黄仁勋在路演里明确否认延期到2028年,说还是明年。这个我信,因为英伟达的GTC周期向来硬,Rubin平台从去年就说2026H2,没改过。但Kyber机架调整是真的,而且影响比你们想的大。Kyber本来是给Rubin Ultra设计的400kW+级机架,现在改成800V直流供电加光互连。800V直流供电在数据中心里不算新鲜——Google和Meta的下一代供电方案早就在推48V转800V的架构,但英伟达自己下场推机架级800V,意味着他们开始从系统层面管整机功耗,而不是只给芯片定TDP。

具体到我这边,原来规划的是H100 NVL机架,单机架功耗大概130-140kW,用标准的415V交流UPS,每机架拉一圈铜排,液冷用CDU走25℃进水就行。但如果明年要上Rubin,按公告讲的Kyber结构优化,机架功率密度会直接跳到400kW+——不是翻倍,是三倍。这意味着原先每机架一根供电铜排的布线方案直接作废,得改800V直流母线+分布式DC-DC模块,而且液冷进水温度必须降到15-18℃才能压住后段散热。我查了手头几家液冷供应商的报价,15℃进水比25℃进水的CDU成本大概贵30-40%,因为需要额外加一级冷水机组。这还没算机柜内光互连模块的到货周期——光收发器目前良率不高,大摩纪要里没提具体交期,但我问过代理商,单模的400G光模块现在排期已经到16周往上了。

另一个有意思的点是大摩提到一家之前大量用ASIC的模型公司,有接近一半算力回到GPU平台。这个不点名,但圈内猜是Apple或者Amazon的自研芯片团队。Apple的ANE在推理上的能效比确实不错,但在大模型batch size和序列长度都拉大的场景下,GPU的显存带宽和矩阵乘法的灵活性还是压ASIC一头。这个趋势对我这种做混合部署的人影响很大——原先我计划是买一些ASIC卡跑小模型批处理,GPU只跑大模型推理,但现在看,如果对手都往回切了,那ASIC的投资回报率就得更谨慎地算。我算过一笔账:一块ASIC卡(比如Groq的LPU)单价大约5000美元,推理吞吐是H100的1.5-2倍,但显存只有230MB,只适合跑7B以下模型;而H100可以同时跑70B模型,还能用vLLM做动态batch。如果客户场景里模型规模超过13B,ASIC的性价比优势就消失了,因为得拆成多个卡做模型并行,反而增加通信开销。

最后说回到货周期。大摩路演里提到管理层对增长的表述“仍偏乐观”,单季营收逼近1000亿美元,这个数字听着大,但落实到具体订单上,就是H100和B200的排期依然紧张。我去年8月下的H100 NVL订单,说好今年2月到货,结果拖到5月才拿到一半。现在Rubin Ultra明年就要来,机架改800V供电意味着整个配电层要重新设计,原来用的415V UPS柜子不能直接复用,得换成800V直流整流柜。我跟施耐德聊过,800V直流整流柜的交付周期在20-24周,比交流UPS多了将近两个月。这意味着如果我明年下半年想上Rubin,现在就得下供电设备的单,不然机架到了电没到,白等。

总结:别太纠结谁当CEO,先看看自己机房的电坑不坑。

赞(29)
DMCA / ABUSE REPORT | TOP Posted: 11-16 09:07 樓主 引用 | 發表評論
闲过信陵饮


級別:新手上路 ( 8 )
發帖:422
威望:43 點
金錢:2027 USD
貢獻:0 點
註冊:2018-05-02


机架功率从一百多kW跳到四百kW这个跨度最关键,液冷进水温度和CDU成本跟着一起涨,800V直流加光互连这套改法看着是顺理成章,但到货周期二十多周确实会卡住自建集群的节奏。


點評

    TOP Posted: 11-16 09:20 #1樓 引用 | 點評
    witkey


    級別:騎士 ( 10 )
    發帖:3490
    威望:350 點
    金錢:4352 USD
    貢獻:0 點
    註冊:2020-02-24

    感谢分享
    TOP Posted: 11-16 09:29 #2樓 引用 | 點評
    夏季的季风


    級別:精靈王 ( 12 )
    發帖:5025
    威望:923 點
    金錢:108 USD
    貢獻:6132 點
    註冊:2025-11-05

    感谢分享
    TOP Posted: 11-16 09:33 #3樓 引用 | 點評
    雲慕雨


    級別:騎士 ( 10 )
    發帖:1892
    威望:353 點
    金錢:15863 USD
    貢獻:0 點
    註冊:2024-12-12

    感谢分享
    TOP Posted: 11-16 09:45 #4樓 引用 | 點評
    铁甲二流子


    級別:精靈王 ( 12 )
    發帖:52117
    威望:3439 點
    金錢:277123 USD
    貢獻:2000 點
    註冊:2017-02-06

    都是高科技人才啊
    TOP Posted: 11-16 10:04 #5樓 引用 | 點評
    ylxnrGR


    級別:光明使者 ( 14 )
    發帖:58003
    威望:5785 點
    金錢:871 USD
    貢獻:1271595 點
    註冊:2016-09-08

    看看了
    TOP Posted: 11-16 10:15 #6樓 引用 | 點評
    cnncnn


    級別:精靈王 ( 12 )
    發帖:14085
    威望:1456 點
    金錢:29339 USD
    貢獻:45678 點
    註冊:2017-09-01

    感谢分享
    TOP Posted: 11-16 10:22 #7樓 引用 | 點評
    琴瑟之友


    級別:新手上路 ( 8 )
    發帖:486
    威望:49 點
    金錢:695 USD
    貢獻:0 點
    註冊:2025-10-27

    感谢分享
    TOP Posted: 11-16 10:50 #8樓 引用 | 點評
    苏城雾


    級別:新手上路 ( 8 )
    發帖:543
    威望:75 點
    金錢:2165 USD
    貢獻:0 點
    註冊:2026-02-28

    感谢分享
    TOP Posted: 11-16 10:59 #9樓 引用 | 點評
    料峭之春风


    級別:精靈王 ( 12 )
    發帖:16655
    威望:1867 點
    金錢:41128 USD
    貢獻:0 點
    註冊:2024-02-13

    感谢分享
    TOP Posted: 11-16 11:07 #10樓 引用 | 點評
    烟月


    級別:精靈王 ( 12 )
    發帖:9641
    威望:1000 點
    金錢:12852 USD
    貢獻:0 點
    註冊:2026-02-27


    感谢分享
    TOP Posted: 11-16 13:43 #11樓 引用 | 點評
    qqq0623


    級別:風雲使者 ( 13 )
    發帖:63363
    威望:6189 點
    金錢:2017531 USD
    貢獻:1137 點
    註冊:2011-06-06

    感谢分享
    TOP Posted: 11-16 14:36 #12樓 引用 | 點評
    红魔1986


    級別:新手上路 ( 8 )
    發帖:119
    威望:12 點
    金錢:161 USD
    貢獻:0 點
    註冊:2024-01-23

    感谢分享
    TOP Posted: 11-16 14:45 #13樓 引用 | 點評
    史泰龙Stallone


    級別:聖騎士 ( 11 )
    發帖:2644
    威望:604 點
    金錢:20516 USD
    貢獻:333 點
    註冊:2025-07-14

    感谢分享
    TOP Posted: 11-16 15:27 #14樓 引用 | 點評
    称霸天下


    級別:新手上路 ( 8 )
    發帖:31
    威望:4 點
    金錢:32 USD
    貢獻:0 點
    註冊:2025-09-26

    感谢分享
    TOP Posted: 11-16 16:36 #15樓 引用 | 點評
    快乐的图灵


    級別:精靈王 ( 12 )
    發帖:35380
    威望:3519 點
    金錢:16379 USD
    貢獻:0 點
    註冊:2022-02-12

    感谢分享
    TOP Posted: 11-16 17:33 #16樓 引用 | 點評
    顺天行


    級別:俠客 ( 9 )
    發帖:2205
    威望:281 點
    金錢:206 USD
    貢獻:422 點
    註冊:2026-06-14


    不是说黄打算回归了?
    TOP Posted: 11-16 18:21 #17樓 引用 | 點評
    这是个问题啊


    級別:光明使者 ( 14 )
    發帖:81777
    威望:8253 點
    金錢:186 USD
    貢獻:137884 點
    註冊:2021-01-01

    发帖辛苦
    TOP Posted: 11-16 22:13 #18樓 引用 | 點評
    沉睡的木玛


    級別:光明使者 ( 14 )
    發帖:81777
    威望:8343 點
    金錢:192 USD
    貢獻:132884 點
    註冊:2018-11-16

    支持发帖
    TOP Posted: 11-16 22:13 #19樓 引用 | 點評
    鸭打鹅


    級別:風雲使者 ( 13 )
    發帖:72697
    威望:7263 點
    金錢:47 USD
    貢獻:34781 點
    註冊:2022-02-02

    谢谢分享
    TOP Posted: 11-16 22:13 #20樓 引用 | 點評
    苏筱熙


    級別:天使 ( 14 )
    發帖:174759
    威望:72934 點
    金錢:28474 USD
    貢獻:69 點
    註冊:2012-09-01

    谢谢分享
    ------------------------
    TOP Posted: 11-16 22:41 #21樓 引用 | 點評
    历经风雨犹明


    級別:新手上路 ( 8 )
    發帖:650
    威望:66 點
    金錢:1554 USD
    貢獻:0 點
    註冊:2026-08-15

    感谢分享
    TOP Posted: 11-17 07:22 #22樓 引用 | 點評
    witkey


    級別:騎士 ( 10 )
    發帖:3490
    威望:350 點
    金錢:4352 USD
    貢獻:0 點
    註冊:2020-02-24


    感谢分享
    TOP Posted: 11-17 07:48 #23樓 引用 | 點評
    陈十三


    級別:聖騎士 ( 11 )
    發帖:3296
    威望:725 點
    金錢:62549 USD
    貢獻:223 點
    註冊:2024-04-20

    有点专业
    外行人看得不是太懂
    TOP Posted: 11-17 08:32 #24樓 引用 | 點評

    .:. 草榴社區 -> 技術討論區

    快速回帖 頂端
    內容:
    HTML 代碼不可用

    使用簽名
    Wind Code自動轉換

    按 Ctrl+Enter 直接提交