GPU服务器托管进场前,供电散热承重网络四项要书面确认

8卡GPU服务器托管,进场前要向机房逐项核对供电、散热、机柜与物理条件、网络四项,并把关键答复落成书面确认,避免上架后才发现供不上、散不掉、放不下或连不通。

要点速览

• GPU整机托管要在进场前核对供电、散热、机柜与物理条件、网络四项
• 供电按整机满载核对,并确认两路冗余和插座规格
• 散热重点看机柜密度、风道朝向和局部热点,不只看机房温度
• 机柜深度、导轨、承重和搬运通道任何一处不匹配都可能上不了架
• 每项答复都要落成书面确认,确认表填满再安排运输

8卡GPU服务器托管,进场前要向机房逐项核对四件事:供电是否按整机满载来配,散热能否压住高密度机柜的局部热点,机柜与物理条件能否放下这台又重又深的整机,网络能否满足带宽、内网互联和公网地址的需求。每一项都不要停留在口头答复上,要把机房给出的条件写进书面材料。GPU整机和普通服务器在这四项上的差别都很大。如果按普通服务器的习惯去托管,常见的结果是上架后跳电、温度告警、机柜门关不上,或者多台机器之间连不起来。

本文只讲整机进机房前的逐项核对,不涉及价格,也不给具体功率数字。四项都按同一个顺序来写:GPU服务器与普通服务器有什么不同,向机房问什么,要书面确认什么。文末附一张进场前确认表,数字请按自己设备的实际情况填写。

为什么GPU整机要单独列一张核对清单

普通的通用服务器,一个机柜里放十几台,供电、散热、空间大体都在机房的常规设计范围内,托管时很少需要逐项确认。8卡GPU服务器不一样:单台功耗高、重量大、机身深、电源模块多、网卡端口多,一台设备就可能占掉一个普通机柜相当大的一部分资源。

更麻烦的是,这些问题通常不会在签约时暴露,而是在上架当天或者满负载跑起来之后才出现。到那时设备已经运到,调整机柜位置、追加供电、补拉线缆都要重新排期,业务计划也会跟着往后推。所以核对要放在进场之前,并且要由懂设备的人和机房对接,而不是只由采购按报价单对价格。

如果还没有估算过机柜功率,可以先看服务器托管机柜功率怎么选,把估算做完再来对照本清单。本文默认你已经大致知道设备的功耗量级。

一、供电:按整机满载核对,不按日常负载估

与普通服务器的不同。普通服务器日常负载和满载之间差距不大,机房按经验配电一般够用。GPU服务器在训练或推理高峰时,多张加速卡会同时拉满,整机功耗会明显抬升,而且这种高峰可能持续很长时间。它通常配有多个电源模块,对冗余方式和接口规格都有要求,不是插上两根线就能用。

向机房问什么。

• 单个机柜能提供的供电容量是多少,是否能按这台整机的满载功耗来核对,而不是按平均功耗。
• 机柜是否有两路独立供电,两路分别来自哪里,其中一路中断时另一路能否单独带起整机满载。
• 机柜内的电源分配单元提供什么规格的插座,数量够不够,和服务器电源线的接口是否匹配。
• 如果一个机柜放两台以上GPU服务器,总功耗是否仍在机柜供电范围内,有没有余量留给交换机和管理设备。
• 超过约定供电容量时机房如何处理,是告警、限制还是断电。

要书面确认什么。机柜的供电容量和冗余方式、电源分配单元的插座规格与数量、超容量时的处理规则。设备侧也要准备好自己的材料,包括整机满载功耗、电源模块数量和冗余模式、电源线接口类型,交给机房一并核对。电源冗余模式要特别说清楚:有些整机需要多个电源同时工作才能撑住满载,这时两路供电如何分配电源模块,要和机房一起排好。

二、散热:看机柜密度和局部热点,不只看机房温度

与普通服务器的不同。机房整体温度达标,不代表每个机柜都凉快。GPU服务器的发热集中在一台设备、一个机柜里,容易在机柜后侧和相邻区域形成局部热点。整机的风道方向通常是前进后出,如果机柜摆放、盲板或者冷热通道没有配合好,热风回流到进风口,加速卡就会降频,甚至触发保护。

向机房问什么。

• 所在机房和机柜按什么密度设计,高密度机柜放在哪个区域,散热方式是什么。
• 是否有冷热通道隔离,机柜的进风面和出风面朝向如何,和服务器的风道方向是否一致。
• 空余U位是否要求加装盲板,由谁提供、谁安装。
• 同一机柜或相邻机柜是否会混放其他客户的设备或普通服务器,高功耗设备会不会被放在一起形成热点。
• 机柜进风温度是否有监测,出现局部温度异常时机房如何通知、如何处置。

要书面确认什么。机柜所在区域的散热条件和监测方式、风道朝向、盲板安排、温度异常的通知与处置流程。对于计划长期满载运行的设备,建议写清楚满载运行时进风温度由谁监测,超出约定范围时谁先动作。温湿度相关的基础要求,可以参照GB 50174《数据中心设计规范》与机房沟通,但具体条件以合同和机房书面答复为准。

三、机柜与物理条件:重量、深度、导轨和搬运通道

与普通服务器的不同。8卡GPU服务器机身高度一般占好几个U,深度往往超过常见的通用服务器,整机重量也大,上架需要多人配合或者借助工具。不少机房的标准机柜深度、导轨类型、地板承重、电梯和门的尺寸,是按普通设备设计的。任何一处不匹配,都可能让设备运到了却上不了架。

向机房问什么。

• 机柜的内部可用深度、立柱间距是多少,能否放下整机,并留出后部走线和电源线的空间。
• 导轨是否兼容,是用设备自带的导轨还是机房提供的托盘,安装由谁完成。
• 机柜内可用的连续U位有多少,GPU整机放在机柜的哪个高度,上下是否需要留空。
• 机柜和地板的承重是否经过核对,单个机柜放多台重设备是否可以。
• 从卸货点到机柜的路线:卸货平台、货梯、门洞、走廊转弯处的尺寸和载重,是否需要预约搬运时段。

要书面确认什么。分配的机柜编号、可用U位范围、机柜深度与承重、导轨方式、搬运通道和进场时间。设备侧要提前提供整机的高度、深度,以及带包装和不带包装的重量。进场当天的检查项,可以配合服务器托管上架验收那篇的四步一起使用。本文的清单管进场前,验收清单管上架当天。

四、网络:带宽、内网互联、公网地址与端口规划

与普通服务器的不同。普通服务器通常一两个网口接到交换机就够了。GPU服务器的管理口、业务口、存储口往往分开,多台机器做分布式训练或推理时还需要高速内网互联。端口数量多、线缆类型杂,对交换设备也有要求。另外,模型和数据集体积大,首次上传和后续同步对带宽的要求,也和普通网站服务不同。

向机房问什么。

• 公网带宽是独享还是共享,接入方式是什么,首次导入大体量数据时能否临时调整。
• 需要多少个公网地址,是否需要IPv6,地址的分配和备案由谁负责。
• 多台GPU服务器之间的内网互联,是用机房提供的交换设备还是客户自带,端口速率和类型是否匹配。
• 多机放在同一机柜还是相邻机柜,跨机柜布线的长度、线缆类型和走线路径如何安排。
• 带外管理口如何接入,是否可以通过独立通道远程管理整机。

要书面确认什么。带宽规格与计费口径、公网地址数量、内网交换设备的归属与端口规划、线缆由谁提供和布放、管理口的接入方式。多机互联要提前画一张简单的端口对应图,标明每台机器的哪个口接到哪台交换机的哪个口,交给机房和实施人员各留一份。

进场前确认表(可打印)

下面这张表按四项排列,每行后面留出填写栏。设备相关的栏目由你根据设备资料填写,机房相关的栏目在机房书面答复后填写。两边都填完,再安排运输。

1. 供电
   • 整机满载功耗:______;电源模块数量与冗余模式:______
   • 机柜供电容量:______;是否两路独立供电:______
   • 插座规格与数量:______;超容量处理规则:______
   • 机房书面确认人与日期:______
2. 散热
   • 整机风道方向:______;预计满载运行时长:______
   • 机柜所在区域与散热方式:______;冷热通道朝向:______
   • 盲板安排:______;相邻是否混放设备:______
   • 温度异常通知方式与处置流程:______
3. 机柜与物理条件
   • 整机高度(U):______;深度:______;重量(含包装/不含):______
   • 机柜编号:______;可用U位:______;机柜深度:______
   • 导轨方式与安装方:______;承重核对结果:______
   • 搬运路线与预约时段:______
4. 网络
   • 公网带宽规格:______;独享或共享:______;计费口径:______
   • 公网地址数量:______;是否需要IPv6:______;备案负责方:______
   • 内网交换设备归属:______;端口数量与速率:______
   • 线缆类型、长度与布放方:______;管理口接入方式:______

这张表的用处不在格式,而在于让双方把每一个数写出来。哪一栏填不上,就说明哪里还没对齐,应当先停下来问清楚。这比设备到场后再改,成本低得多。

下一步怎么做

如果设备已经到手,建议先整理整机资料,把确认表中设备相关的栏目填满,再带着表去和机房沟通。如果还在选型,可以把这四项作为采购和托管一起考虑的条件,避免买回来的设备和机房条件不匹配。设备放在现场还是放进机房,两类场景如何取舍,可以参考AI一体机和机房AI服务器的分工。

润迅的R500 AI服务器定位是机房级算力设备,适合放进数据中心长期运行。润迅的前海云数据中心按T3+标准建设,提供机柜托管。MaxDeploy一体化交付的基座包括R500 AI服务器、XunOS和MaxModel。如果希望把设备与上层软件交给同一方交付,具体安排可以向润迅咨询。机柜条件可以在机柜托管页面了解,也可以拨打业务咨询热线400-854-5566,带着填好的确认表和机房逐项对一遍。

→ 联系润迅,聊聊你的场景,获取适合的方案