私有化部署大模型不是装一个模型,而是硬件、系统、模型管理、应用与知识四层分别落地。每层先明确要做什么,再查常见漏项,验收时逐项问清。
要点速览
- 私有化部署大模型要按硬件、系统、模型、知识四层分别落地
- 硬件层别只买卡,托管、供电、带宽要提前确认
- 系统层要有人管资源调度、版本和日志
- 模型层避免绑定单一模型,每次调用都要有记录
- 知识层先整理资料、分层权限,上线后留人工复核与运维交接
私有化部署大模型要分四层落地,而不是一次采购就能完成。四层分别是:
- 硬件层:算力放在哪里,供电、散热和网络怎么解决。
- 系统层:资源由谁调度,运行环境由谁维护。
- 模型层:多个模型怎么统一接入,每次调用有没有记录。
- 应用与知识层:企业资料怎么整理成可检索的知识,不同的人能看到哪些内容。
每一层都要回答三件事:要做什么、常见漏了什么、验收时问什么。拆开看,立项时不容易漏掉成本和责任方,上线后出了问题也能更快找到是哪一层。
为什么要拆成四层,而不是一个动作
不少企业在立项时,把私有化部署理解成“买一台带显卡的服务器,装上开源模型”。这样做,演示阶段往往没有问题。等到多个部门同时使用、资料越放越多、有人问“这条回答依据的是哪份文件”时,缺口就出现了:
- 机器放在办公室,散热和供电跟不上。
- 几个应用抢同一块算力,请求排队。
- 模型想换一个,应用代码要跟着改。
- 资料放进去没人整理,新旧版本混在一起。
- 所有人都能问到所有内容。
这些问题分别属于不同的层,责任方不同,验收方法也不同。混在一个合同、一次验收里,很难说清哪里没做到位。拆层之后,可以按层确认负责人和验收口径,也可以按层分阶段上线。
本文只讲落地步骤和验收清单。选哪个模型、每块费用怎么拆,站内另有文章讨论,这里不展开。
硬件层:现场入口和机房算力分开考虑
要做什么。先确定算力放在哪里,通常有两种位置。
- 客户现场:例如润迅的 R30 AI 一体机,作为办公现场的入口,适合部门级使用、数据不希望离开场地的情况。
- 机房:例如 R500 AI 服务器,提供机房级的高性能算力,适合用户多、模型大,或者多个业务共用。
两种方式不是二选一,不少企业会把现场入口和机房算力组合使用。规模怎么估,可以先看私有化部署大模型算力怎么估里提到的三个变量。
常见漏项。漏得多的是“只买卡,不考虑放在哪”。机房级算力设备对供电容量、散热、机柜空间和网络带宽都有要求,普通办公楼的小机房往往不具备这些条件。选择托管的话,还要约定上架、出入机房、远程协助这些日常事项。机房条件可以对照 GB 50174《数据中心设计规范》或 Uptime Institute Tier 分级来核对。润迅自建并运营前海云和田心两个数据中心,提供机柜托管和网络带宽,这一层可以放在同一家处理。
验收时问什么。
- 设备放在现场还是机房,供电和散热条件是否已经书面确认。
- 机柜功率、带宽、公网 IP 是否按实际用量预留了余量。
- 硬件故障时,谁负责现场处理,备件怎么安排。
- 后续扩容,是加机器、加机柜,还是换位置。
系统层:模型能跑之后,还要有人管资源
要做什么。硬件之上需要一层 AI 操作系统,负责资源调度和运行环境,主要管这几件事:
- 算力怎么分给不同的模型和应用。
- 驱动、运行库、推理服务的版本怎么保持一致。
- 负载和异常能不能看到。
在润迅的产品组成里,这一层由 XunOS 负责。
常见漏项。典型情况是“模型能跑,但没人管资源”,会表现为:
- 某个部门的批量任务占满算力,其他人的请求一直排队。
- 升级驱动后服务起不来,又找不到原来的版本。
- 没人说得清当前负载有多高、还能再接多少业务。
这类问题在演示阶段看不出来,一到多人使用就会暴露。
验收时问什么。
- 算力能否按应用或部门分配和隔离,规则由谁调整。
- 负载、错误、排队情况能否实时查看,日志保留多久。
- 版本变更前有没有记录,出问题能否回退。
- 系统层出现故障,由谁响应,多久内接手。
模型层:不绑定单一模型,每次调用都有记录
要做什么。这一层主要做三件事:
- 把本地部署的模型和需要接入的外部模型统一管起来。
- 按任务类型把请求分到合适的模型上,也就是多模型路由。
- 对每次调用做审计。
润迅的 MaxModel 在这一层通过一个 Key 统一接入大模型,提供多模型路由和调用审计。应用只对接一个入口,不必分别对接每个模型。
常见漏项。
- 只绑定一个模型,应用直接写死了接口。模型要升级或替换时,应用要跟着改。
- 各部门各自申请 Key,调用没有统一记录。出了问题查不到是谁、在什么时间、用哪个模型、传了什么内容,成本也说不清。
验收时问什么。
- 新增或替换一个模型,应用侧要改动多少。
- 路由规则由谁制定,改动是否有记录。
- 调用记录包含哪些信息,保留多久,谁有权限查看。
- Key 怎么发放、轮换、回收。
- 哪些数据只能走本地模型、不能发给外部模型,这条边界是否写进了规则。这条要结合《中华人民共和国数据安全法》和《中华人民共和国个人信息保护法》的要求来定。
应用与知识层:资料先整理,权限要分层
要做什么。先把企业资料整理成可检索的知识,再接到统一管理里。资料包括制度、合同模板、产品文档、历史问答等。
- 润迅的 MaxKnow 负责知识管理,把资料变成可检索、可追溯出处的内容。
- MaxControl 负责统一管理,让用户、权限和应用入口在一处维护。
常见漏项。
- 资料没整理就导入:旧版制度和新版并存,扫描件识别不全,同一份文件存了好几份。回答不准,往往问题出在资料,而不在模型。上线前该整理哪几类资料,可以参考企业知识库怎么建。
- 权限没分层:所有资料放进一个库,人人都能问到薪酬、合同、客户信息。
验收时问什么。
- 资料来源有没有清单,每类资料由谁负责更新。
- 制度改版后,旧版怎么下线。
- 权限是否按部门、角色、资料来源分层,变更有没有记录。
- 回答能否给出依据的原文出处。
- 访问日志能否满足企业在等保 2.0 方面的管理要求。
实现不等于上线完成
四层都通过验收,只说明系统能用了,不等于可以放手交给 AI。上线后还有两件事要落到人身上。
一是明确 AI 在业务里做到哪一步。在法律、财税等专业场景,AI 只承担资料整理、初步审核、风险标记和提示。关键判断和确认由律师、会计等专业人员完成。这条分工要写进流程:哪些输出必须人工复核,复核要不要抽检,复核结果怎么留痕。
二是做好运维交接。上线后至少有三条线要有人负责:
- 模型的版本和路由。
- 知识的更新和下线。
- 权限的开通和回收。
交付方撤场前,这三条线的负责人、操作手册和应急联系人都要交接清楚。具体清单可以参考企业AI上线后运维谁来管。
行动建议:按四层列清单,再决定交付方式
立项或采购前,可以按下面的顺序准备:
- 按四层列出现状:哪些已经有,哪些缺,每层由谁负责。
- 从业务场景倒推:先确定在哪几个场景先用、多少人用、涉及哪些资料,再回头估算力、选模型。
- 每层写好验收问题:把上文“验收时问什么”的条目放进合同或验收单,而不是只验收一次演示效果。
- 先定好人工的位置:专业场景的复核规则、上线后三条运维线的负责人,在上线前定好。
- 决定交付方式:四层分别找不同供应商,还是交给一家统一交付。
选择第五步的统一交付,可以了解润迅的 MaxDeploy 交付方式,它的组成是:
- R30 AI 一体机或 R500 AI 服务器,作为硬件层。
- XunOS,作为系统层。
- MaxModel,作为模型层。
- 其上运行 MaxKnow 和 MaxControl,作为应用与知识层。
已经有部分组件的企业,也可以只按层对照缺口,补齐需要的部分。各层组成和交付范围可以在 MaxDeploy 交付方案页面查看,也可以拨打业务热线 400-854-5566,带着你的四层清单来沟通。
常见问题
私有化部署大模型需要哪些组成部分?
一般拆成四层:硬件层负责算力,系统层负责资源调度和运行环境,模型层负责多模型统一接入、路由和调用审计,应用与知识层负责资料检索和权限管理。缺任何一层,都可能出现能演示、但难以长期使用的情况。
私有化部署大模型一定要放机房吗?
不一定。部门级、数据不希望离开场地的场景,可以用放在现场的 AI 一体机;用户多、模型大或多业务共用时,更适合放在机房的 AI 服务器。两者也可以组合使用,关键是先确认供电、散热和网络条件。
私有化部署后为什么还要做模型管理?
模型会升级和替换,不同任务适合的模型也不同。没有统一管理,应用容易绑定单一模型,调用也没有记录,出了问题查不到来源,成本说不清。统一接入和调用审计能让换模型、查记录和控成本都有据可依。
私有化部署大模型验收应该看什么?
建议按层验收,不只看一次演示效果。硬件看供电、带宽和故障响应,系统看资源分配、日志和回退,模型看替换成本、路由规则和调用记录,知识看资料来源、版本更新和权限分层。
私有化部署的大模型能直接替代律师或会计做判断吗?
不能。在法律、财税等场景,AI 只做资料整理、初步审核、风险标记和提示,关键判断和确认要由专业人员完成。企业还应建立抽检复核和留痕机制,并明确上线后谁负责运维。