GPU服务器价格差别大,多因口径不同:四块对齐再比价

GPU服务器报价差距大,多半是口径不同。把报价拆成整机硬件、软件与模型授权、机房托管、运维与升级四块逐项对齐,再比价才有意义。

要点速览

• GPU服务器报价差距大,多半是口径不同而非单纯贵或便宜
• 按整机硬件、软件与模型授权、机房托管、运维与升级四块拆开核对
• 询价时要求逐项列规格、写清交付范围与第二年起的持续费用
• 一次性投入与持续费用分栏记账,按相同年限折算再比价
• 推理、训练微调、多部门混用三类负载,口径侧重点不同

同样叫GPU服务器,两份报价相差很多,多数时候并不是哪家更贵或更便宜,而是报价口径不同:一份可能只报了整机硬件,另一份包含了驱动与推理框架的部署、几年质保和上架服务;有的把模型授权另计,有的把托管和带宽打包进来。比价之前,先把报价拆成整机硬件、软件与模型授权、机房托管、运维与升级四块,逐项写清楚包含什么、不包含什么,才能看出差别到底在哪里。本文不谈具体价格和行情,只给一份可以拿来核对报价单的口径清单。

为什么两份GPU服务器报价不能直接比

“GPU服务器”这个叫法覆盖的范围很宽。从插一两张卡、放在办公室里跑小模型的机器,到装满多张卡、只能进机房的机型,都可以这样称呼。即使卡的型号一样,卡数、单卡显存、配套的处理器与内存、存储和网络配置不同,整机成本也会拉开很大距离。

除了配置本身,报价里还常混着几类不同性质的东西:

• 交付范围不同:有的只交一台装好操作系统的机器,有的负责把驱动、推理框架、模型部署到能调用为止。
• 时间跨度不同:有的报价含三年质保和现场服务,有的只含一年返厂维修,看上去同一个数字,覆盖的年限并不一样。
• 费用性质不同:一次性的采购款和按月、按年持续发生的托管、带宽、运维费,被写在同一张表里,容易互相掩盖。

所以拿到两份报价,先别急着看总价,先看每一项的口径是否对得上。口径对齐后,价格差异往往就能解释清楚,剩下的才是真正的商务空间。

整机硬件:报价里常漏写的配置

硬件是报价里看起来写得最清楚、实际上也很容易含糊的一块。核对时建议逐项落到具体规格,而不是只写“8卡GPU服务器”这样的概括描述。

• 卡数与型号:写明几张卡、具体型号,以及机箱一共能装几张。只写“支持8卡”而实际只配了4卡的情况并不少见。
• 单卡显存:显存决定能装下多大的模型、能跑多长的上下文。同一系列的卡可能有不同显存版本,报价里要写明。
• 处理器与内存:处理器数量与型号、内存总容量和条数。内存不足会拖慢模型加载和数据预处理,后期加内存还要看是否留有插槽。
• 存储:系统盘与数据盘分别多大、什么类型、有无冗余。模型文件和知识库数据都要占空间,只配一块系统盘的报价需要追问。
• 网络:网卡数量与速率,多台机器之间是否需要高速互联,交换设备是否包含在报价内。
• 电源与散热:电源是否冗余、单台满载功耗大概多少、采用什么散热方式。这几项直接关系到能放进什么样的机柜。
• 机箱高度:占几个U,决定一个机柜能放几台,也影响托管费用的计算。

软件与模型授权:看清哪些另计

软件这一块的差别,常常是两份报价拉开距离的主要原因,也是比价时容易被忽略的部分。

• 操作系统:装的是什么系统、什么版本,是否涉及商业授权,授权按台还是按处理器计算。
• 驱动、计算库与推理框架:是只装驱动,还是把推理框架也部署好、调通并做过基本的性能测试。后一种工作量明显更大。
• 模型是否另计:开源模型本身可能不收授权费,但下载、量化、部署和调优是有工作量的;商用模型则可能有单独的授权费用。报价要写清楚模型由谁提供、部署到什么程度。
• 能否更换模型:模型迭代很快,上线后换模型是常态。要问清换模型是否需要重新付费、由谁来做、硬件是否装得下新模型。
• 管理能力:多个部门共用时,有没有统一的模型调用入口、权限划分和调用记录,这部分是否包含在报价里。

机房托管:放在哪里也要算进口径

多卡GPU服务器功耗和发热都高,通常要放进机房。报价是否包含机柜、电力、带宽、IP和上架服务,需要单独确认;如果不包含,这部分要另外询价并计入总成本。具体怎么估算,可分别参考机柜功率的估算与核对、带宽与IP签约前的六个问题,以及上架验收的核对清单,本文不再展开。

运维与升级:质保之后谁来管

GPU服务器长期满载运行,部件故障并不罕见。运维与升级这一块写得越细,后面的纠纷越少。

• 质保年限与范围:整机几年,GPU卡是否同等质保,硬盘、电源、风扇等易损件是否包含在内。
• 故障响应:是远程支持还是可以到现场,响应和修复的时限怎么约定,节假日是否同样执行。
• 备件:有没有本地备件,换一张卡大概要等多久,等待期间是否有临时替代方案。
• 后续扩容:机箱是否预留卡位,电源和散热是否够加卡,软件授权是否随卡数或机器数增加而加价。
• 系统与模型升级:驱动、框架、模型版本更新由谁负责,是否包含在年度服务里。

向供应商询价时要对齐的九个问题

下面九个问题可以直接放进询价单。每个问题后面附上“听到什么回答要追问”,方便判断对方的口径。

1. 配置清单能否逐项列出?怎么问:请按卡、处理器、内存、存储、网络、电源逐项列规格和数量。要追问:只给出“高性能配置”“主流配置”这类描述,没有具体型号和数量。
2. 机箱上限是多少,目前配了多少?怎么问:卡位、内存插槽、硬盘位的总数和已用数分别是多少。要追问:回答“后续可以扩”,但说不清还剩几个位置、电源够不够。
3. 按我们的模型和并发,这台机器能跑到什么程度?怎么问:给出打算用的模型规模和大致并发,请对方说明是否有实测依据。要追问:只说“完全够用”,拿不出测试方法或测试条件。
4. 软件部署做到哪一步?怎么问:交付时是装好系统、装好驱动,还是部署到模型可以调用。要追问:交付范围写成“提供技术支持”,没有明确交付物。
5. 模型授权怎么算,以后能不能换?怎么问:模型由谁提供、是否另收费、换模型是否需要重新付费。要追问:回答“一般不收费”,但合同里没有写。
6. 报价是否含托管、带宽和IP?怎么问:如果含,请写明机柜规格、电力、带宽和IP数量;如果不含,请单列。要追问:写了“含托管”,但没写功率和带宽,或者没写年限。
7. 质保覆盖哪些部件、多少年?怎么问:整机与GPU卡的质保年限和方式分别是什么。要追问:GPU卡的质保和整机不一致,或者只有返厂维修。
8. 出了故障,多久能恢复?怎么问:远程与现场的响应方式、时限,备件放在哪里。要追问:只说“尽快处理”,没有时限和备件安排。
9. 第二年起要持续付哪些钱?怎么问:请列出托管、带宽、运维、软件续费等每年发生的费用。要追问:报价只有采购总价,对后续费用避而不谈。

一次性投入和持续费用分开记账

核对完四块之后,建议把费用分成两栏记账:

• 一次性投入:整机采购、一次性的软件与模型授权、首次部署与调试、上架服务。
• 持续费用:机柜托管与电力、带宽与IP、年度运维与质保延保、软件续费、系统与模型升级。

分开记的好处是,两份报价可以按相同年限折算对比。有的报价采购价低,但持续费用高;有的采购价高,但把几年的服务都包了进去。只看其中一栏,结论容易出错。

不同负载下,口径的侧重点也会变化:

• 以推理为主:重点看单卡显存能否装下目标模型、并发能力,以及换模型是否方便,软件部署和模型管理的口径要问细。
• 做训练或微调:重点看卡数、卡间互联、存储容量与读写能力,以及满载下的电源和散热,托管功率要预留充分。
• 多部门混合使用:重点看统一调用入口、权限和调用记录,这部分若不包含在报价里,后期补做的成本不低。

如果还要估算知识库、应用开发等整体投入,或者单独测算托管年费,可以在本栏目找到对应的费用拆解文章,与本文的硬件口径配合使用。

行动建议:先把口径问清,再谈价格

比价的顺序建议是:先用四块口径把报价拆开,再用上面九个问题逐项补齐,然后把一次性投入和持续费用分栏折算,最后才比较总价和谈商务条件。这样谈下来的价格,对应的是同一件事。

如果希望减少在多家供应商之间来回核对口径的工作量,也可以考虑由一家把硬件、系统和模型管理放在一起报。润迅的 MaxDeploy 一体化交付,以 R500 AI 服务器作为机房级高性能算力设备,配合 XunOS(AI 操作系统)和 MaxModel(模型统一管理平台,一个 Key 接入多种大模型,支持多模型路由与调用审计),把服务器、系统与模型管理放在同一份方案里交付,询价时可以一次问清硬件配置、软件部署范围和模型管理方式。需要放进机房的,也可以对接润迅在深圳自建运营的前海云、田心数据中心做托管,把托管口径一并列入报价。

可以先把计划使用的模型、大致并发和部署位置整理出来,再拨打业务热线 400-854-5566,对照上面的清单逐项确认口径。

→ 联系润迅,聊聊你的场景,获取适合的方案