大模型调用日志按四类留字段:调用方、调用对象、用量、结果。原文是否留存按敏感度分三档,由业务与安全负责人共同决定。
要点速览
- 调用日志服务三件事:追责、对账、排查
- 字段分四类:调用方、调用对象、用量、结果
- 请求模型与实际响应模型要分开记录
- 原文按只留元数据、脱敏、全量三档选择
- 留存期限与查看权限须在记录前约定
大模型调用日志至少要留四类字段:谁调的(账号、部门、应用)、调了哪个模型(模型名、版本、路由结果)、花了多少(token、耗时、额度)、结果怎样(成功、失败、被限流、报错码)。有了这四类字段,出了问题能追到人,月底能对上账,接口报错能定位到具体环节。提示词和回答原文要不要留,不建议一刀切,应按数据敏感度在三档里选:只留元数据、脱敏留存、全量留存,由业务负责人和安全负责人共同拍板。留多久、谁能看,也要在开始记录之前就约定清楚。
调用日志用来做什么:追责、对账、排查
很多团队刚接入大模型时,只关心能不能调通,调用记录要么没有,要么散落在各个应用的日志里,格式各不相同。等到需要用的时候才发现缺字段。所以先把用途想清楚,字段自然就定下来了。调用日志大体有三个用途:
- 追责:某段敏感内容被发给了外部模型,或者某个账号短时间内调用量异常,需要知道是谁、通过哪个应用、在什么时间发起的。
- 对账:模型服务按用量计费,财务和各部门需要知道钱花在了哪里,各部门的额度是否超出,账单和内部记录能不能对上。
- 排查:业务反馈回答变慢、频繁失败,技术人员需要知道是哪个模型、哪条路由、哪类错误,以及从什么时候开始的。
下面四类字段,基本就是围绕这三件事展开的。每类都说明为什么要留、通常由谁来看。
一类:调用方——账号、部门、应用
调用方字段回答的是「谁调的」。这是追责和对账的起点。如果整个公司共用一个 API Key 且没有其他身份标识,这一类字段几乎无从记录,所有调用都会算在同一个身份名下。这也是为什么共用 Key 本身就是一个管理隐患,具体可以参考团队共用大模型 API Key 有哪些风险。
- 账号或调用凭证标识:为什么留——定位到具体的人或服务;谁来看——IT 管理员、安全负责人。
- 所属部门或成本中心:为什么留——按部门汇总用量、分摊费用;谁来看——部门负责人、财务。
- 来源应用或系统:为什么留——区分是知识库问答、编程助手还是内部脚本发起的调用;谁来看——应用负责人、技术负责人。
- 来源地址与时间戳:为什么留——异常调用时判断是否被盗用;谁来看——安全负责人。
注意,记录账号时尽量用内部编号而不是直接写姓名、手机号,减少日志本身成为个人信息集中点的风险。
二类:调用对象——模型、版本、路由结果
调用对象字段回答的是「调了哪个模型」。当公司同时接入多个模型,或者同一个模型有多个版本时,这一类字段决定了你能不能把效果、成本和故障对应到具体模型上。
- 请求的模型名:为什么留——知道业务方原本想用哪个模型;谁来看——技术负责人。
- 实际响应的模型与版本:为什么留——模型升级或切换后回答质量变化,能对照前后版本;谁来看——技术负责人、应用负责人。
- 路由结果:为什么留——如果有按规则分流或故障时切换备用模型的机制,需要记录这次请求实际走了哪条路;谁来看——运维、技术负责人。
- 部署位置:为什么留——区分调用的是外部云端模型还是本地私有化模型,这直接关系到数据有没有出公司;谁来看——安全负责人。
「请求的模型」和「实际响应的模型」分开记,是很多团队容易忽略的地方。一旦有了自动切换,两者可能不一致,只记一个就会在排查时产生误判。
三类:用量——token、耗时、额度
用量字段回答的是「花了多少」。对账靠它,性能问题也靠它。
- 输入 token 与输出 token:为什么留——不少模型服务对输入和输出分别计费,分开记才能和账单对齐;谁来看——财务、IT 管理员。
- 耗时:为什么留——区分首字返回时间和总耗时,判断慢在排队还是生成;谁来看——运维、应用负责人。
- 额度占用与剩余:为什么留——部门或应用接近额度时提前提示,避免月中被停用;谁来看——部门负责人、IT 管理员。
- 请求编号:为什么留——和模型服务方的记录逐条对照;谁来看——运维、财务。
用量字段不要只存汇总值。按天汇总看起来省空间,但出现账单差异时没法逐条核对,保留明细、另做汇总报表会稳妥一些。
四类:结果——成功、失败、被限流、报错码
结果字段回答的是「结果怎样」。它是排查问题的主要依据。
- 状态:成功、失败、被限流、超时、被拒绝,至少分这几种;谁来看——运维。
- 报错码与简要错误信息:为什么留——判断问题出在鉴权、额度、网络还是模型服务本身;谁来看——运维、应用开发。
- 重试次数:为什么留——重试过多会放大用量和费用;谁来看——技术负责人。
- 是否触发内容拦截:为什么留——了解哪些请求因为内容规则被拦下;谁来看——安全负责人。
有了这些字段,报错时就不必只凭业务方的一句「用不了了」去猜。如何按层级定位常见报错,可以参考大模型 API 调用报错怎么办。
提示词和回答原文要不要留:分三档决定
前面四类都是元数据,一般问题不大。真正需要讨论的是提示词和回答原文。原文对排查和复盘很有价值,但它可能包含客户资料、合同内容、内部数据,日志本身就会变成一个需要保护的数据集。这件事不应由技术部门单独决定,建议由业务负责人和安全负责人共同商定,按场景选档:
- 只留元数据:不保存原文,只保存前面四类字段。适合涉及客户隐私、财务明细、法律文书等高敏感场景。代价是出了质量问题难以复盘具体对话。
- 脱敏留存:保存原文,但对姓名、证件号、联系方式、金额等字段做替换或遮盖。适合内部知识问答、一般办公辅助。需要事先定义脱敏规则,并定期抽查规则是否漏项。
- 全量留存:原文完整保存,访问权限严格控制。适合需要完整复核的场景,例如回答要经过专业人员复核、需要回溯依据的业务。
同一家公司内,不同应用可以选不同档位。知识库问答走脱敏留存,财税和法务相关场景只留元数据,这种组合很常见。关键是把选择写下来,而不是默认全存或默认不存。处理涉及个人信息的数据时,要对照《中华人民共和国个人信息保护法》《中华人民共和国数据安全法》等要求,由法务或合规人员确认做法。
留存期限与访问权限,要在开始记录前约定
日志字段定好之后,还有两件事经常被拖到出问题时才想起来。
留存期限。元数据和原文的保存时间可以不同:元数据用于对账和趋势分析,通常需要覆盖几个结算周期;原文风险更高,保存时间宜短。到期后如何删除、谁来执行、删除是否留痕,都要写进制度。如果公司在做等保 2.0 或 ISO/IEC 27001 相关工作,日志留存的安排应与这些体系的要求对齐,具体期限由安全和合规团队确定。
访问权限。不同角色看到的范围应当不同:
- 部门负责人:看本部门的用量和费用汇总。
- 财务:看全公司用量与费用明细,不看原文。
- 运维:看状态、报错码、耗时,必要时看脱敏后的原文。
- 安全负责人:可查看全量记录,查看行为本身也要留痕。
「谁看过日志」本身也是一条需要记录的信息。否则日志保护了业务数据,却没人保护日志。
为什么统一入口更便于集中留记录
上面这些字段,如果每个应用各自对接模型、各自写日志,落地难度会很大:字段名称不统一、有的应用根本不记、各家模型的 Key 散落在各处难以回收。比较务实的做法,是让调用先经过一个统一入口,由入口集中记录。
润迅的 MaxModel 是一个模型统一管理平台,做的正是这件事:业务方通过一个 Key 接入所有大模型,由平台做多模型路由,并提供调用审计。放到本文的语境里,它在这几处起作用:
- Key 有了集中的位置:各应用不必分别保管多家模型的 Key,需要调整或回收时有一处可管。
- 调用对象相关的记录不必东拼西凑:路由在平台内完成,调用审计也在同一处,模型与路由情况不用再从多个应用里分别找。
- 用量和结果的口径更容易统一:对账和排查不用再拼接多套格式不同的日志。
至于调用方字段按什么粒度区分、账号和部门如何对应,建议在接入前结合自己的组织方式与服务方逐项确认,写进接入方案。
如果企业还需要本地算力和私有化模型,MaxDeploy 交付方案把 R30 AI 一体机或 R500 AI 服务器、XunOS 与 MaxModel 组合在一起,本地部署的模型也纳入 MaxModel 统一管理。原文留存选哪一档、留多久、谁能看,仍然需要企业的业务与安全负责人来定,平台提供的是记录和管控的条件,判断由人来做。
行动建议:一份可勾选的自查清单
建议技术负责人拿这份清单,和业务、安全、财务各开一次短会,逐项确认:
- □ 调用方能否区分到人或应用,而不是全部记在同一个身份下
- □ 日志是否记录了账号、部门、来源应用、时间戳
- □ 是否同时记录了请求的模型和实际响应的模型及版本
- □ 是否记录了路由结果和部署位置(云端或本地)
- □ 输入、输出 token 是否分开记录,并保留请求编号便于对账
- □ 是否区分首字返回时间与总耗时
- □ 部门和应用的额度是否设置,接近上限时有没有提示
- □ 状态、报错码、重试次数是否完整记录
- □ 每个应用的原文留存档位是否已由业务与安全负责人书面确认
- □ 脱敏规则是否写清,并安排了定期抽查
- □ 元数据和原文的留存期限、删除方式是否约定
- □ 各角色的查看范围是否划分,查看行为是否留痕
勾不上的项,就是下一步要补的地方。如果你正在考虑用统一入口来集中管理 Key、路由和调用记录,可以先读大模型统一管理平台是什么,再结合自己的应用数量和敏感度,判断是否需要引入 MaxModel;也可以拨打润迅业务热线 400-854-5566,把现有的调用方式和留存要求讲清楚,一起评估接入方案。
常见问题
大模型调用日志一定要保存提示词和回答原文吗?
不一定。原文便于复盘,但可能含客户资料和内部数据。建议按敏感度在只留元数据、脱敏留存、全量留存三档中选择,由业务负责人和安全负责人共同决定,不同应用可以选不同档位。
大模型调用日志应该保存多久?
没有统一答案。元数据用于对账和趋势分析,一般要覆盖几个结算周期;原文风险更高,保存时间宜短。具体期限应由安全和合规团队结合等保、信息安全管理体系等要求确定,并写明删除方式。
团队共用一个 API Key 能不能做调用审计?
很难。若没有其他身份标识,所有调用都记在同一身份下,无法区分是谁、哪个部门、哪个应用发起的,追责和按部门对账都做不了。建议先让调用能区分到人或应用,再统一记录。
调用日志里的 token 为什么要分输入和输出记录?
不少模型服务对输入和输出分别计费,只记总数无法和账单逐条对齐。分开记录并保留请求编号,出现费用差异时可以逐条核对,也便于发现提示词过长等可优化之处。
用统一管理平台记录调用日志有什么好处?
调用经过同一入口,字段口径更容易统一,不会出现有的应用不记、有的字段名不同的情况。以 MaxModel 为例,一个 Key 接入所有大模型,路由和调用审计在同一处完成,对账和排查不必拼接多套日志。