本地大模型有哪些?按用途、硬件、授权三步找到合适的

本地大模型没有固定名单。先按用途分成对话写作、代码、向量检索、语音多模态四类,再对照个人电脑、一体机、机房服务器三档硬件,然后核对授权与合规,就能缩小到合适的范围。

要点速览

• 本地大模型没有固定名单,先学会分类比记名字有用
• 按用途分对话写作、代码、向量检索、语音多模态四类
• 硬件分个人电脑、R30 一体机、R500 服务器三档,能力需实测
• 上线前核对商用、二次分发、责任归属、调用留痕四项
• 法律财税场景中模型只做整理初审提示,判断归专业人员

“本地大模型有哪些”没有一份能长期有效的名单。开源模型更新很快,今天的榜单过一段时间就可能过期。比起记名字,更实用的做法是三步:先按用途分类,再看自己的硬件属于哪一档,然后核对授权与合规。三步走完,候选范围通常只剩少数几个系列,再拿真实任务去试,比照着榜单挑要稳妥。

这篇只讲“怎么认识和归类本地模型”,以及“用途和硬件怎么对上”。具体的部署路径可以看本地大模型怎么部署,筛选服务商和模型的标准可以看私有化部署大模型的五项筛选标准,这里不重复。

为什么“有哪些”没有固定答案

本地模型的变化来自几个方向,而且是同时发生的:

• 版本迭代快。同一个系列会不断推出新版本,规模、上下文长度、擅长的任务都可能变化。
• 同一模型有多种形态。同一个基础模型往往有不同规模、不同量化精度的版本,对硬件的要求差别很大,名字相同不代表在你的机器上表现相同。
• 评测口径不一。公开评测多数测的是通用能力,和你的实际任务未必一致。在别人的测试里排得靠前,放到你的合同、代码或客服话术上,结果可能不同。

所以,与其问“现在有哪些”,不如先回答“我要它做什么、我能给它多少算力、我能不能合规地用它”。这三个问题的答案相对稳定,模型名字换了,判断方法不用换。

第一步:按用途分四类

本地能跑的模型,按用途大致可以分成四类。很多实际项目需要的是其中两三类配合,而不是一个模型包办。

通用对话与写作

这类模型负责理解问题、组织语言、总结和改写,是大家印象里“大模型”的样子。本地跑的价值主要在于数据不出内网:内部会议纪要、制度文件、客户资料可以直接拿来整理,不必传到外部服务。适用场景包括内部问答、文档摘要、邮件和报告起草。需要注意的是,规模较小的通用模型在长文档推理、复杂指令上会吃力,选型时要用自己的真实材料试。

代码与编程

代码模型在补全、解释、重构、写测试上做了专门训练。企业关心本地化,往往是因为源代码属于核心资产,不希望离开内部环境。这类模型对上下文长度比较敏感,项目越大,需要它一次看到的代码越多,对硬件的要求也越高。润迅的终端编程 Agent 迅码 XunCode 可以接入本地模型来做编程辅助,个人可免费使用,企业可以私有化部署,让代码和调用都留在自己的环境里。

向量与检索

这类模型不直接回答问题,而是把文档切片转换成向量,用来做语义检索,是企业知识库的基础部件。很多人选型时只盯着对话模型,忽略了它。实际上,知识库答得准不准,很大程度取决于检索这一步能不能找到对的段落。向量模型本地跑的门槛相对较低,但要关注它对中文和行业术语的理解,以及换模型后历史向量需要重建的问题。

语音与多模态

包括语音识别、语音合成,以及能看懂图片、表格截图的多模态模型。本地跑的意义在于录音、扫描件、现场照片这类材料往往含有个人信息或敏感内容,留在内部处理更便于落实《中华人民共和国个人信息保护法》等方面的要求。适用场景有会议转写、票据和单据识别、质检图片初筛。多模态模型的资源占用和纯文本模型不同,硬件规划时要单独估算。

第二步:按硬件分三档

用途确定之后,看硬件。下面三档只给定性判断,具体能跑多大的模型、支撑多少并发,取决于模型规模、量化方式、上下文长度和同时使用的人数,需要实测。估算方法可以参考私有化部署大模型算力怎么估。

个人电脑:轻量、单人

一台配置较好的笔记本或台式机,能跑小规模、经过量化的模型,适合个人试用、写作辅助、小范围代码补全和向量模型的验证。主要限制是:同一时间基本只服务一个人;模型规模受显存或内存约束,复杂推理和长上下文容易变慢;设备分散在个人手里,不便统一管理和留痕。适合用来“先摸清楚”,不适合直接作为团队的正式服务。

R30 AI 一体机:部门或现场入口

当一个部门、一个分支机构或一个业务现场需要共用模型时,一体机是常见选择。润迅的 R30 AI 一体机定位是客户现场的 AI 入口,在 MaxDeploy 的交付方案里,它与 XunOS(AI 操作系统)、MaxModel 一起构成基础部分。这一档适合部门级的日常问答、知识库检索和文档处理。限制在于单台设备的算力有上限,多人同时调用较大的模型时会出现排队,具体能承载多大规模的模型要按实际负载测试,也不适合作为全公司的集中算力。

R500 AI 服务器:机房级、多人并发

如果要跑规模较大的模型、服务多个部门的并发请求,或者同时运行对话、代码、向量、多模态多类模型,就需要机房级服务器。R500 AI 服务器面向这类需求,提供机房级的高性能算力。它对供电、散热、网络都有要求,自建机房条件不足时,可以考虑托管在润迅自建的数据中心。这一档的主要难点不在算力,而在运维:模型版本、权限、调用记录需要有人持续管起来。

第三步:授权与合规核对清单

“能跑起来”和“能合规地用”是两件事。开源模型的许可证各不相同,有的宽松,有的附带条件。上线前建议逐项核对:

1. 是否允许商用。有些许可证对商业用途有限制或附加条件,内部试用没问题,不代表可以用在对外业务里。
2. 能否二次分发。如果你要把模型打包进自己的产品交付给客户,需要确认许可证是否允许,以及是否要求保留声明、公开修改等。
3. 数据和输出由谁负责。本地运行意味着数据安全主要由你自己承担。输出内容是否准确、是否侵权,责任也在使用方。对外提供生成式服务的,还要关注《生成式人工智能服务管理暂行办法》的要求。
4. 是否需要留存调用记录。谁在什么时间调用了哪个模型、输入输出是什么,很多企业出于内控或《中华人民共和国数据安全法》方面的考虑需要留痕。本地部署不会自动帮你记,要事先规划。

还有一条边界要说清:在法律、财税这类专业场景,本地模型同样只承担资料整理、初步审核、风险标记和提示,关键判断与确认由律师、会计等专业人员完成。数据留在本地解决的是安全问题,不改变责任归属。

多个模型并存之后怎么管

按上面的方法走下来,大多数团队会发现自己要同时用好几个模型:一个对话模型、一个代码模型、一个向量模型,可能还有一个语音模型。模型多了,问题就从“选哪个”变成“怎么管”:

• 路由:不同任务调用不同模型,简单问题走小模型,复杂问题走大模型,本地不够时是否允许转到外部模型。
• 换模型:新版本出来后,能不能在不改业务系统的前提下替换,能不能先小范围对比再切换。
• 审计:每次调用都有记录,出了问题能追溯到具体模型、具体时间和具体请求。

润迅的 MaxModel 是模型统一管理平台,用一个 Key 接入多个模型,支持多模型路由和调用审计。业务系统只对接一个入口,背后换模型、加模型不用逐个改接口,调用记录集中留存。它解决的是“模型多了以后不失控”,并不替你决定用哪个模型,选型仍然要回到用途和实测。

行动建议:先做三问自测

在开始找模型之前,建议团队先把下面三个问题写下来:

1. 我要做什么:对照四类用途,列出真正要用的一到三类,并为每类准备一批真实任务作为试题。
2. 我有什么硬件:是个人电脑、部门级一体机,还是机房级服务器;使用人数和并发大概多少。
3. 数据能不能出内网:如果不能,本地部署和调用留痕就是前提;如果部分可以,再考虑本地与外部模型混合使用。

三个答案明确后,候选模型会自然收窄,再用试题做对比即可。如果需要多个模型并存、统一管理与审计,可以先了解MaxModel 如何管理多个模型,也可以拨打 400-854-5566 与润迅沟通硬件档位和部署方式。

→ 联系润迅,聊聊你的场景,获取适合的方案