金融行业私有化部署大模型,上线前先划清四件事

金融机构私有化部署大模型,上线前要先划清四件事:数据分级、调用留痕、人工复核、模型可替换。目标是数据留在自己环境里,调用过程查得到。

要点速览

• 私有化部署在金融场景要做到两点:数据留在机构环境,调用过程可查
• 资料按可广泛使用、限部门、不入库三档分,权限跟着档位走
• 调用经统一入口并记录审计,日志归属与保存期限要事先约定
• AI只做整理、初审、风险标记与提示,授信投资合规判断归专业人员
• 业务对接统一接口、按任务路由,换模型时不重建知识与权限

金融行业私有化部署大模型,上线前要先划清四件事:数据分级、调用留痕、人工复核、模型可替换。在金融场景里,私有化部署要解决的不只是把模型装进自己的机房,而是两点:数据留在机构自己的环境里,每一次调用过程事后查得到。这四件事有一件没提前定,上线后往往要回头返工。轻则改权限、补日志,重则知识库要重新整理一遍。

私有化部署在金融场景要解决什么

金融机构评估大模型时,顾虑通常集中在三类。一是客户资料和业务数据会不会流到外部。二是员工用 AI 查了什么、生成了什么,事后能不能说清楚。三是 AI 给出的内容出了问题,责任落在谁身上。

私有化部署只回答了其中一部分:模型和数据在机构可控的环境中运行,不经过公共接口。部署完成只是前提。哪些资料允许被检索,谁的调用被记录,AI 输出由谁签字,换模型会不会推倒重来,这些都要靠机构自己的制度和系统配置来落实。

下面四件事各给出「怎么做」和「自查问题」,适合信息科技、风控和合规部门在立项前一起过一遍。具体口径请按机构内部制度和适用的监管要求核对,例如《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》以及等保 2.0 的相关要求。本文不构成合规意见。

一、数据分级:先定哪些资料能进知识库

大模型在金融机构里常见的用法,是基于内部资料做问答和检索。资料进库之前如果不分级,模型可能把只该某个部门看到的内容,回答给不该看的人。这类问题一旦发生,很难靠事后解释补救。

怎么做

• 按三档分。可在机构内部广泛使用的,如规章制度、产品说明、已公开披露材料、操作手册。限部门或限角色使用的,如内部审批流程、风控规则说明、部门工作底稿。不入库的,如未脱敏的客户身份与账户信息、交易明细、尚未公开的经营数据。具体归档以机构自身的数据分级标准为准。
• 进库时登记。每份资料记录来源部门、密级、责任人和有效期。制度改版时能追溯到旧版本,也知道该由谁来更新。
• 权限跟着档位走。限部门资料只对相应部门和角色开放检索,不要让所有人进同一个库。

分档方法可参考企业知识库按可公开、限部门、不入库三档来分,权限配置的具体做法见企业知识库按部门、角色、来源三层隔离。在润迅的方案里,MaxKnow 负责知识库的资料管理与权限隔离。它在这个问题里的作用是让「谁能问到什么」有明确的系统配置,不靠员工自觉。

自查问题

• 机构现有的数据分级标准,能否直接对应到知识库的三档?
• 不入库的资料清单由谁确认,是否有书面记录?
• 员工调岗或离职后,检索权限多久收回,由谁执行?

二、调用留痕:谁在什么时候调了哪个模型

金融机构的内控和审计,习惯于每个操作都有据可查。大模型上线后,这条要求不应该打折扣。留痕要回答的问题很具体:哪个账号,在什么时间,调用了哪个模型,问了什么,得到了什么输出,后续有没有被采用。

怎么做

• 统一入口。所有调用经过同一个管理平台,不允许各部门私自接入模型接口,否则日志会散落在各处。
• 记录要素先定好。至少包括调用人、时间、模型、输入摘要、输出摘要和调用来源的应用。
• 日志归属写清楚。日志存放在哪里,谁能查看,保存多久,是否允许导出,在立项和合同里一并约定。

MaxModel 的调用审计用于记录谁在什么时候调用了哪个模型。私有化部署时,MaxModel 运行在机构自己的环境中,日志也随之留在机构手里。如果服务器托管在第三方机房,还需要单独约定机房方对日志有没有访问权限。

自查问题

• 现在有没有员工绕开统一入口、直接使用外部模型的情况?
• 审计或合规部门需要调阅调用记录时,流程和权限是否已经设计?
• 日志保存期限是否与机构现行的档案管理要求一致?

三、人工复核:AI 做哪几步,哪几步必须归人

这是四件事里最容易在立项时被一句话带过、上线后才暴露问题的一项。原则很简单:AI 只做资料整理、初步审核、风险标记与提示,授信审批、投资建议、合规结论等关键判断与确认由专业人员完成。难的是把这条原则落到每个具体流程里。

怎么做

• 规定 AI 输出的形态。例如在授信资料审阅中,AI 输出的是「材料清单缺项」「需关注的条款」「与历史资料不一致之处」,而不是「建议通过」或「建议拒绝」。
• 复核留痕。每条被采用的 AI 输出,记录复核人、复核时间、是否修改、修改理由。
• 按风险分层抽检。高风险业务全量复核,低风险的内部问答按比例抽检。比例由业务和合规部门共同商定,并定期回看。
• 问题回流。复核中发现的错误要回到知识库和提示词的维护环节,不能只在单次业务里改掉了事。

抽检和留痕的具体做法,可参考AI 人工复核怎么做?企业抽检与留痕的五个做法。

自查问题

• 每个计划上线的场景,是否写明了 AI 能输出什么、不能输出什么?
• 复核人是否具备相应的专业资质和授权?
• 复核记录与调用日志能否对应起来,形成完整的过程记录?

四、模型可替换:不要把业务绑在一个模型上

模型迭代很快,授权条款也会变化,机构内部评估还可能要求更换某个模型。如果业务应用直接写死了某一家模型的接口,换模型就意味着改代码、重新测试,甚至重新调整知识库的检索方式。

怎么做

• 应用只对接统一接口。业务系统调用的是管理平台,而不是具体模型。
• 按任务路由。简单问答、长文档摘要、代码辅助等不同任务,可以分配给不同的模型。
• 换之前先对照。用同一批真实问题,在新旧模型上分别跑一遍,由业务人员评估差异后再切换。
• 知识与权限独立于模型。知识库和权限配置不随模型更换而重建。

MaxModel 通过一个 Key 接入多家大模型,并支持多模型路由。它在这个问题里解决的是:业务应用不需要知道底下跑的是哪个模型,切换时改的是平台配置,不是业务代码。选型标准可参考站内关于私有化模型筛选的文章。

自查问题

• 现有方案里,换一个模型需要改动哪些系统?
• 候选模型的授权是否允许在机构内部私有化使用?
• 有没有一套固定的测试问题集,用于每次换模型前的对照评估?

四件事落到交付上:一种可参考的组合方式

上面四件事,分别对应知识管理、调用审计、流程复核和模型管理。机构可以自己逐项搭建,也可以选择把硬件、系统和平台一起交付的方式。

润迅的 MaxDeploy 一体化交付是其中一种做法,结构分三层:

• 算力层:R30 AI 一体机作为客户现场入口,适合部门级或分支机构的场景;R500 AI 服务器提供机房级的高性能算力。R500 可放在机构自有机房,也可托管在润迅自建的前海云数据中心(T3+ 标准,1400+ 机柜)。
• 系统层:XunOS,AI 操作系统。
• 模型管理层:MaxModel,负责多模型接入、路由与调用审计。

在这三层之上运行 MaxKnow(企业知识库)和 MaxControl(统一管理)。需要说明的是,系统提供的是配置和记录能力,数据怎么分级、复核由谁负责、日志保存多久,仍然要由机构按自己的制度来定。

立项前的行动建议

1. 先组一个三方小组。信息科技、风控、合规各出一人,把上面四组自查问题逐条回答一遍,答不上来的列为立项前待办。
2. 选一个低风险场景先跑。例如内部制度问答或产品资料检索,先验证分级、留痕和复核流程能否正常运转,再扩展到授信、投研等敏感环节。
3. 把边界写进合同和制度。日志归属、数据存放位置、复核责任、模型更换流程,都要有书面约定。
4. 估算算力再定硬件。按并发人数、使用场景和模型规模估算算力,避免一次性采购过多或过少。

如果想进一步了解硬件、系统、模型、知识四层分别怎么落地和验收,可以阅读私有化部署大模型如何实现:硬件、系统、模型、知识四层拆开做。需要结合机构实际情况评估方案,也可致电润迅业务热线 400-854-5566 沟通。

→ 联系润迅,聊聊你的场景,获取适合的方案