在开源大模型、国产大模型快速成熟的背景下,国有企业推进AI转型的成本门槛正在降低。无论是智能客服、知识检索、报表生成,还是流程自动化、经营分析、AI Agent辅助办公,AI已经从试点工具进入业务系统和管理流程。

但对国企而言,AI转型不能只看模型能力、部署速度和降本效果,更要先回答一个基础问题:数据安全红线在哪里?

尤其当大模型具备理解、生成、调用工具、跨系统执行等能力后,企业AI安全治理的边界不再局限于“能不能访问数据”,而是延伸到“访问了什么数据、是否有权限、是否外发、是否可追溯、出了问题谁负责”。金智维认为,国企大模型数据治理的重点,应从单点技术选型,升级为围绕数据、模型、权限、流程和责任的系统治理。

一、国企AI转型为什么绕不开数据安全

国有企业的数据通常具有类型复杂、价值密度高、合规要求严的特点,既包括经营数据、客户数据、供应链数据、财务数据,也可能涉及内部管理、关键业务流程、行业监管报送等敏感信息。

过去,企业信息化系统大多依赖明确的账号、流程和权限来控制数据流向。但AI应用带来了新的变量:员工可能将业务资料输入外部模型;AI Agent可能自动调用多个系统;模型可能根据历史上下文生成内容;自动化流程可能跨部门、跨系统执行任务。

这意味着,国企AI转型的风险并不只发生在“模型训练”阶段,也可能发生在日常使用、任务执行、结果输出和外部协同的全过程。

因此,企业AI安全治理不能简单理解为“禁止使用AI”,也不能一味追求“全面开放”。更务实的路径,是建立清晰的数据安全红线,并为每条红线配置可执行的治理动作。

二、红线一:敏感数据未经审批进入外部模型或外部服务

对国企而言,最需要警惕的风险之一,是将敏感数据直接输入外部大模型、开放式AI工具或未经评估的第三方服务。

这类风险往往发生得很隐蔽:员工为了提高效率,将合同条款、客户信息、经营数据、报表明细、会议纪要等内容复制到外部AI工具中,请其总结、润色或生成分析。短期看提升了效率,长期看却可能造成数据外发、数据留存不可控、后续使用范围不清等问题。

治理建议:

第一,建立AI场景下的数据分类分级清单。企业应明确哪些数据可以用于公开模型交互,哪些数据只能在内部环境使用,哪些数据不得进入任何生成式AI工具。

第二,对外部AI服务建立准入机制。凡涉及业务数据、客户数据、内部经营数据的AI调用,应经过安全、法务、合规和业务部门联合评估。

第三,优先采用可控部署方式处理核心业务数据。对于高敏感、高价值、高监管要求的场景,应优先考虑私有化部署或企业内部可控环境,降低数据外流和外部依赖风险。

第四,对AI输入输出进行脱敏和最小化处理。即便在内部环境中,也应避免将完整原始数据直接交给模型,尽量通过字段脱敏、数据摘要、权限过滤等方式降低暴露面。

三、红线二:AI Agent权限不清,越权访问或越权执行

AI Agent不同于普通问答机器人,它不仅能回答问题,还可能规划任务、调用工具、操作系统、读取数据、生成文件,甚至执行跨系统流程。对于国企AI转型来说,AI Agent治理不能一刀切地禁止,也不能不设边界地放开。

真正的风险在于:AI Agent到底代表谁执行任务?它能访问哪些系统?能读取哪些数据?能不能提交审批、修改信息、导出报表?如果这些问题没有明确答案,AI Agent就可能成为新的权限风险入口。

治理建议:

第一,为AI Agent建立独立身份和权限体系。AI Agent不应共享个人账号或高权限账号,而应具备可识别、可管理、可审计的身份标识。

第二,按照业务角色配置最小权限。不同岗位、不同流程、不同Agent应对应不同权限范围,避免“一个Agent通用全场景”。

第三,将高风险动作纳入人工确认。涉及付款、审批、数据导出、客户信息修改、监管报送等关键动作时,应设置人工复核或多级确认机制。

第四,区分“辅助建议型Agent”和“自动执行型Agent”。前者主要提供分析、摘要、生成和推荐,权限边界相对较低;后者涉及系统操作和流程执行,应纳入更严格的权限、审计和异常处置机制。

四、红线三:AI生成结果不可追溯、不可解释、不可复盘

在企业场景中,AI生成的内容不能只追求“像不像”“快不快”,更要回答“从哪里来”“依据是什么”“谁触发的”“是否经过审核”。

如果AI生成的报告、报表、客户回复、监管材料或经营分析无法追溯来源,一旦出现错误,就很难判断是数据源问题、模型理解问题、提示词问题,还是执行流程问题。对国企而言,这不仅影响业务质量,也会放大合规和管理风险。

治理建议:

第一,保留关键操作日志。包括用户提问、调用数据源、模型输出、Agent执行动作、人工修改记录等,形成完整审计链路。

第二,重要输出应保留引用来源。对于知识问答、制度查询、业务分析等场景,应尽量让AI输出关联原始文档、数据来源或业务系统记录,降低“无依据生成”的风险。

第三,建立AI结果分级审核机制。日常辅助内容可以轻量审核,面向客户、监管、经营决策的内容则应经过业务负责人或专业人员确认。

第四,定期复盘高频AI场景。企业应持续评估AI输出质量、误差类型、用户反馈和异常案例,用真实业务数据反向优化知识库、流程配置和权限策略。

五、红线四:数据隔离不足,业务边界被模型打穿

大模型和AI Agent的优势在于连接数据、理解上下文、打通流程。但在国企场景中,“打通”并不意味着无边界共享。

不同部门、不同业务线、不同项目之间的数据可能存在明确的访问边界。例如财务、人力、法务、审计、客户服务、供应链等部门,即便同属一个企业,也不意味着数据可以被任意调用。如果模型或Agent在没有隔离策略的情况下统一检索、统一生成,就可能造成内部数据扩散。

治理建议:

第一,建立知识库和数据源隔离机制。不同业务域应配置独立的数据范围、索引范围和访问策略,防止跨域检索。

第二,将权限控制前置到数据调用环节。模型回答之前,应先判断用户或Agent是否具备访问相关数据的权限,而不是在生成后再人工判断是否合适。

第三,对跨部门数据调用设置审批流程。涉及多部门数据融合、联合分析、共享看板等场景,应明确申请、审批、授权、留痕和到期回收机制。

第四,避免将全量数据直接暴露给模型。企业可通过业务接口、数据视图、权限过滤、脱敏字段等方式,为AI提供“够用但不过量”的数据。

六、红线五:责任边界模糊,AI出错无人负责

AI可以辅助判断,但不能替代企业治理责任。国企AI转型中,如果没有明确责任边界,容易出现两个问题:业务部门认为技术部门负责,技术部门认为模型厂商负责,使用人员认为AI自动生成不必负责。最终,一旦出现错误、泄露或违规操作,责任链条难以厘清。

治理建议:

第一,明确AI应用的业务责任人。每个AI场景都应有对应的业务主管部门,对使用范围、输出质量和业务影响负责。

第二,明确技术运营责任。包括模型部署、系统集成、权限配置、日志管理、异常监控、版本升级等,应由信息化或科技部门建立日常管理机制。

第三,明确用户使用规范。员工应知道哪些数据不能输入AI,哪些结果必须复核,哪些场景不能直接采用AI输出。

第四,建立异常处置机制。当出现错误输出、越权访问、数据泄露疑似事件或Agent异常执行时,应有暂停、回滚、追踪、复盘和改进流程。

七、国企大模型数据治理,应从“能用AI”走向“可控用AI”

对国企而言,AI转型的关键不只是选择哪个模型、建设多少场景,而是能否形成可复制、可审计、可持续优化的企业AI安全治理体系。

一套相对完整的国企大模型数据治理框架,至少应覆盖五个层面:

数据层:分类分级、脱敏处理、数据隔离、访问授权。

模型层:模型准入、部署方式、调用范围、输出约束。

权限层:用户权限、Agent权限、系统权限、最小授权。

流程层:场景审批、人工复核、异常处理、版本管理。

审计层:操作留痕、日志追踪、结果复盘、责任认定。

只有这些机制形成闭环,AI才不会成为新的安全盲区,而是能够在合规边界内释放效率价值。

八、以安全可控的数字员工助力国企AI转型

在企业AI落地过程中,安全可控、流程可追溯、系统可集成,是国企和大型组织普遍关注的核心能力。

金智维深耕企业级数字化转型解决方案十余年,融合RPA+AI、低代码、大模型等技术,打造基于AI Agent的数字员工解决方案,助力企业构筑人机协同的新质生产力。目前,金智维已服务包括国有六大行总行在内的1300多家政企,为全行业提供超过180万名数字员工,并在金融、政务、制造、能源、教育等多个领域形成实践积累。

面向企业级AI Agent落地,金智维推出企业级智能体平台Ki-AgentS,支持一键生成专属业务Agent,并实现企业级AI Agent团队管理,平台兼容企业现有系统,支持私有化部署,在确保安全合规的前提下帮助企业推动AI落地应用。

在安全治理方面,金智维强调将数据安全、权限管控、流程审计等机制深植于平台架构之中,通过精细化权限管理、全链路操作日志和风险隔离机制,提升数字员工运行过程的可控、可视、可追溯能力。针对AI Agent执行过程中的模型幻觉、执行精准度和业务安全等问题,金智维基于行业Know-How、RPA执行验证引擎、可追溯操作步骤、异常处理和私有化部署等方式,提升企业级智能体的可靠性和安全性。

从国企AI转型的长期视角看,AI不是单点工具替换,而是组织能力升级。企业既需要拥抱开源和国产大模型带来的效率红利,也必须守住数据安全红线。只有在权限清晰、数据隔离、过程留痕、责任明确的治理框架下,AI Agent和数字员工才能真正成为安全可控的新质生产力。

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐