私有化部署大模型不只是买一台机器。它指模型、数据、调用记录、人员权限四处都留在单位可控的环境里。四处都确认清楚,才算真正私有化。
要点速览
- 私有化不等于买一台机器,要看模型、数据、记录、人员四层
- 断网后能否正常运行,是检验模型是否在本地的直接方法
- 调用记录既是复核依据,本身也是敏感数据,要留得下也管得住
- AI只做整理、检索、初审与提示,诊疗审批定性由专业人员判断
- 现场一体机适合单一单位,机房服务器适合多部门共用与扩容
私有化部署大模型,指的是模型、数据、调用记录和人员权限这四处都留在单位自己可控的环境里,而不只是“买一台机器放进机房”。对政务、医疗这类数据敏感单位来说,判断一个方案算不算私有化,要逐层看四件事:模型部署在哪,数据放在哪、谁能访问,调用记录由谁保存,日常由谁维护、谁有权限。四处都能说清楚,才是真正落地的私有化。如果其中一处仍依赖外部,就要在采购时写明边界。
为什么“买一台机器”不等于私有化
不少单位第一次接触这个词,会把它理解成“硬件放在本地”。硬件在本地当然是前提,但它只解决了算力在哪里的问题。一套大模型应用在运行时,至少涉及四类东西:模型文件和推理服务、用户上传或检索的资料、每一次提问与回答的记录,以及负责部署、升级、排障的人。这四类东西各自可能留在本地,也可能经过外部。
常见的情形是:机器放在单位机房,但应用层仍在调用外部的模型接口;或者模型在本地运行,但日志被同步到供应商的平台用于分析;又或者一切都在本地,却由外部人员通过远程账号长期维护,权限没有收回机制。这些都不能简单叫“私有化”。关于私有化部署与私有云在概念上的区别,可以参考私有化部署是什么意思?和私有云有什么区别,本文只聚焦大模型场景下的四层确认。
第一层:模型部署在哪
要确认什么:推理时用到的模型文件是否存放在单位可控的服务器上,推理请求是否在本地完成,是否存在“本地模型不够用时自动转发到外部接口”的设计。
怎么问:“断开外网后,这套系统还能正常回答问题吗?哪些功能会失效?”这个问题能直接暴露系统对外部接口的依赖程度。
常见误解:认为界面部署在本地,模型就在本地。实际上不少应用只是把网页和数据库放在本地,后端仍连着公有云的模型服务。另一个误解是只关心“用哪个模型”,不关心模型授权是否允许在本地长期运行和商用。选模型的具体标准可以另行展开,这里只强调:模型的存放位置和调用路径要写进方案说明。
第二层:数据放在哪、谁能访问
要确认什么:知识库里的制度文件、业务材料存放在哪台设备上;向量索引、文件缓存这类中间数据存在哪;不同科室、不同岗位能看到哪些资料。
怎么问:“上传的一份文件,在系统里会产生几份副本,分别存在哪?删除时能不能一并删掉?”“一位普通科员和一位科室负责人,检索同一个问题,看到的范围是否不同?”
常见误解:以为数据不出单位就安全。数据留在本地只是第一步,内部的访问控制同样重要。医疗单位里涉及患者信息的材料、政务单位里尚未公开的文件,即使在内网,也不应该对所有使用者开放。《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》对数据处理提出了明确要求,单位自身的等保 2.0 定级工作也会涉及这套系统,采购时应让供应商说明系统如何配合这些要求,而不是笼统承诺“合规”。
第三层:调用记录由谁保存
要确认什么:每一次提问、检索、回答是否留有记录;记录存在本地还是会上传;保存多久;谁可以查看、导出、删除。
怎么问:“出了一次错误回答,我们能不能查到当时是谁问的、调用了哪个模型、参考了哪几份资料?”“系统运行日志会不会回传到供应商一侧?”
常见误解:把调用记录当成可有可无的技术细节。对数据敏感单位来说,调用记录既是事后复核的依据,本身也是敏感数据,因为提问内容里常常包含具体事项和人员信息。记录如果留不下,出了问题无从追溯;记录如果流到外部,又等于把数据带出了单位。两头都要管住。
第四层:人员与维护由谁负责
要确认什么:部署、升级、排障由谁来做;外部工程师是否需要远程访问;远程账号的开通、使用和回收流程是什么;单位自己需要配几个人,承担哪些日常工作。
怎么问:“模型或知识库需要更新时,是你们远程操作,还是我们按手册自己做?远程操作时我们能否看到全过程并随时中断?”
常见误解:以为私有化之后就不用管了。实际上模型要升级,资料要更新,权限要随人员变动调整。如果单位内部没有人能接手这些工作,系统要么长期依赖外部人员远程介入,要么逐渐无人维护、资料过时。采购时应把维护边界写清楚,包括哪些操作必须由单位人员确认后执行。
政务、医疗单位的典型用法:AI 做什么,不做什么
四层边界划清之后,还要明确 AI 在业务中的角色。在数据敏感单位,较为稳妥的起步场景通常是这几类:
- 资料整理:把分散的制度文件、会议纪要、操作规范整理成可检索的知识库,方便工作人员查找出处。
- 内部制度问答:工作人员提问“某类事项的办理流程是什么”,系统检索相关文件并给出带出处的回答,由提问人自行核对原文。
- 材料初审:对提交的申报材料做完整性检查,标记缺项、格式问题或前后不一致之处,提示审核人员重点关注。
这些场景里,AI 只承担整理、检索、初步审核和风险提示。涉及诊疗方案、行政审批、事项定性的判断,必须由具备资质的专业人员完成,AI 的输出只作为参考材料,不能替代人工结论。这一点建议写进单位内部的使用规范,并在系统界面上明确提示。
自查清单:你的方案落在哪一层
拿到供应商方案后,可以按下面的顺序逐项核对,每一项都要求对方给出书面说明:
- 模型层:模型文件存放位置、推理是否在本地完成、断网后能否运行、是否存在外部转发。
- 数据层:原始文件与中间数据的存放位置、副本数量、删除机制、按科室与岗位的访问控制方式。
- 记录层:调用记录的内容范围、存放位置、保存期限、查看与导出权限、是否回传外部。
- 人员层:部署与维护分工、远程访问的审批与回收流程、单位需配备的人员与职责。
- 部署形态:是放在单位现场的一体机,还是放在机房的服务器;前者适合单一单位、使用人数有限、希望设备就在身边的情况,后者适合多部门共用、并发较高或需要后续扩容的情况。
部署形态与算力规模密切相关,如果还没想清楚该选哪种,可以先看本地大模型怎么部署?个人电脑、一体机、机房服务器怎么选。真正动手实施时,硬件、系统、模型、知识四层如何拆开验收,可参考私有化部署大模型如何实现。
一种可参考的交付方式
润迅的 MaxDeploy 是按上述分层思路来组织的一种交付方式。硬件有两种形态:R30 AI 一体机放在客户现场,适合希望设备就近部署的单位;R500 AI 服务器面向机房环境,提供较高的算力。硬件之上是 XunOS 操作系统,再往上是 MaxModel 模型统一管理平台,负责多模型的接入、路由和调用审计,对应前文所说的模型层和记录层。在此之上运行 MaxKnow 企业知识库,用于资料整理和带出处的检索问答,对应数据层;MaxControl 负责统一管理,对应权限与维护的人员层。
这只是一种交付方式。无论选哪家方案,前面四层的问题都应当逐项问清楚,并写入合同或验收文件。
采购前的行动建议
- 先在单位内部明确:哪些资料可以进入系统,哪些不可以;哪些岗位可以使用,能看到什么范围。
- 用上面的五项清单逐条询问供应商,要求书面答复,不接受“全部本地”“完全合规”这类笼统表述。
- 选一个低风险场景先试运行,比如内部制度问答,观察调用记录是否完整、权限是否生效、回答能否追溯出处。
- 把 AI 的职责边界写进使用规范:整理、检索、初审、提示归 AI,判断与确认归人。
- 提前确定内部维护人员,并约定外部远程访问的审批和回收流程。
如果希望了解现场一体机与机房服务器两种形态的具体配置和交付流程,可以查看 MaxDeploy 交付方案,或拨打润迅业务热线 400-854-5566 沟通单位的实际情况。
常见问题
私有化部署大模型和调用公有云API有什么区别?
调用公有云API时,提问内容、资料和调用记录都会经过外部服务商。私有化部署则是让模型推理、数据存储、调用记录和维护权限都留在单位可控的环境中,外部依赖需要在方案中逐项写明。
怎么判断供应商的方案是不是真的私有化?
可以直接问:断开外网后系统能否正常回答问题,哪些功能会失效;调用日志是否会回传供应商;远程维护账号如何开通和回收。要求对方逐项书面答复,而不是只给笼统承诺。
医院或政务单位用私有化大模型,AI可以做诊疗或审批判断吗?
不建议。AI适合承担资料整理、制度检索、材料初审和风险提示,输出只作为参考。涉及诊疗方案、行政审批、事项定性的判断,应由具备资质的专业人员完成并确认。
私有化部署选一体机还是机房服务器?
单一单位、使用人数有限、希望设备放在身边,可以考虑现场一体机;多部门共用、并发较高或后续需要扩容,更适合放在机房的服务器。具体还要结合模型规模与使用人数估算算力。
私有化部署之后还需要单位自己配人维护吗?
需要。模型升级、知识库资料更新、人员变动后的权限调整都需要有人负责。建议采购时明确单位内部的维护人员和职责,以及外部远程协助的审批与回收流程。