生成式AI引入带来的信息泄露风险是什么?律师讲解通过“AI内部规定”进行的防御策略

生成型AI不仅仅是提高业务效率的工具,它已经演变成影响企业竞争力的关键基础设施。然而,在其快速普及的背后,与传统IT系统本质上不同的“信息泄露”和“隐私侵害”风险正在加剧。在许多组织中,由于过于重视便利性,现场在没有明确规则的情况下擅自使用,导致“影子IT”现象的蔓延,机密信息无意中被纳入AI模型的学习中。
本文将解析生成型AI的技术特性所导致的泄露机制,并从《日本不正竞争防止法》和《日本个人信息保护法》等法律角度整理可能产生的重大风险。在此基础上,阐述如何在防范这些风险的同时,加速业务增长,强调制定有效的AI内部规章制度的重要性。
在日本引入生成AI时制定独特的「AI社内规章」的必要性
随着生成AI在社会中的应用加速,许多组织仅仅因为「便利」而在没有进行充分风险评估的情况下推进其引入。
特别是在中小企业中,由于IT素养的差距和法律资源的不足,临时性的使用导致了所谓的「负面螺旋」现象。这种负面螺旋指的是,由于缺乏明确的使用标准,现场出现混乱,一些员工的不当输入使信息泄露的风险显现。对此感到危机的组织在未具体考虑对策前采取「一律禁止」的措施,但追求便利的现场则在公司不知情的情况下继续使用私人账户,这种现象被称为「影子IT(影子AI)」。
影子IT化的恐惧在于,组织无法控制的地方,企业未来至关重要的商业秘密或客户的个人数据被发送到外部平台,并被作为AI模型的学习数据进行二次利用。放任这种状态不仅会增加信息泄露事故的可能性,还可能导致后述的日本不正竞争防止法上的「秘密管理性」丧失,企业可能因此放弃对其作为知识产权的保护。
因此,对于组织而言,真正需要的不是一律禁止或将责任完全交给现场,而是在正确理解生成AI特性的基础上制定独特的「AI社内规章」。仅仅套用一般的云服务指南无法应对生成AI特有的过程(如作为上下文学习或微调材料的风险),即输入数据被用于AI学习。理解构建治理结构的必要性,以确保信息安全,同时使组织能够正当且安全地运用生成AI这一强大工具,是至关重要的。
生成AI导致的信息泄露机制与实例

在使用生成AI时,最需要注意的是用户输入的提示(指令)或数据可能会被发送到开发和提供AI模型的企业的服务器,并在此作为“学习数据”被利用。这与传统的搜索引擎或翻译服务有着根本的区别,因为输入的信息片段可能会被AI模型内部吸收,并在未来其他用户(有时甚至是竞争对手的员工)提问时,作为“回答的一部分”输出,这存在一定的风险。
三星电子的机密源代码泄露案例
韩国三星电子的源代码泄露事件向世界揭示了这一机制的具体风险。令和5年(2023年)5月,该公司的工程师在进行半导体相关程序的调试工作时,不慎将高度机密的源代码直接输入到ChatGPT中。此外,另一名员工为了总结公司内部会议内容,将包含未公开产品战略的会议记录粘贴到提示中,这一事件也被曝光。
这些数据由于当时OpenAI默认采用的“将输入数据用于模型学习”的机制,被吸收为AI模型的内部学习素材。此事件的本质教训在于,即使员工没有恶意,单纯出于“提高工作效率”的自然行为,也可能导致信息泄露,给组织带来致命的损害。
系统故障或设置不当导致的“外部与内部泄露”
此外,泄露风险不仅限于学习的二次利用。令和5年3月,由于ChatGPT的系统故障,部分用户能够查看他人聊天记录标题的漏洞出现。这是由于服务提供方程序上的缺陷,即使用户严格遵守规则,外部平台的脆弱性也可能导致信息暴露。
此外,像Microsoft 365 Copilot这样与组织内部文档联动的工具,如果内部访问权限设置不当,原本无权查看的员工可能通过AI搜索和总结机密文件,这也被指出存在“内部泄露”的风险。
“非公知性”的丧失与企业竞争力下降
对商业秘密的损害意味着一旦信息被学习,在数字空间中将永久失去“非公知性”。
当竞争对手向AI咨询特定技术问题时,自家公司输入的突破性解决方案作为回答被提供,这种情况已不再是幻想。因此,需认识到对生成AI的不慎输入不仅仅是信息泄露,还可能从根本上动摇企业多年研究开发的成果和战略优势。
在日本不正竞争防止法下的商业秘密保护丧失风险
将机密信息输入生成AI可能导致失去作为法律上“商业秘密”的法律保护,这是一种极其严重的法律后果。在日本的不正竞争防止法中,信息要作为商业秘密受到保护,必须满足以下三个条件。
| 要件项目 | 内容定义 | 生成AI输入的影响 |
| 秘密管理性 | 客观上被作为秘密进行管理 | 未经公司许可输入AI的行为可能被视为管理不充分的风险 |
| 有用性 | 对业务活动有用的技术或商业信息 | (即使输入AI也不会立即失去) |
| 非公知性 | 不为公众所知 | 如果AI学习并用于回答他人,非公知性将丧失 |
首先关于“秘密管理性”,根据经济产业省的《商业秘密管理指针》和《秘密信息保护手册》,信息持有者必须有意图将信息作为秘密进行管理,并且员工等能够识别这种管理状态。如果员工未经公司许可,或公司未强制适当设置(如选择退出等),将商业秘密输入生成AI,法院可能会判断“公司未采取适当措施保护秘密”,从而极有可能否定秘密管理性。
接下来关于“非公知性”,如果输入的信息被用于AI模型的学习,并成为全球用户回答的来源,那么该信息就不再能被称为“不为公众所知”。一旦缺失这一法律要件,即使该信息被其他公司模仿或被跳槽的员工带走,也无法根据不正竞争防止法提出禁令或损害赔偿请求。换句话说,轻率地将信息输入生成AI,相当于企业自愿放弃其作为知识产权的价值。
最近的动向显示,在令和6年(2024年)4月公布的《AI事业者指南(第1.0版)》中,强调了贯穿AI生命周期的风险缓解。在此指南中,AI用户被要求注意输入数据和提示的处理,防止不当输入机密信息被作为“共同指针”提出。如果组织未能根据该指南建立适当的治理结构,脱离法律保护框架的风险将进一步增加。
违反保密协议(NDA)与合同风险
在许多商业交易中,为了保护从对方获得的信息,通常会签订保密协议(NDA)。将信息输入生成型AI可能会违反此协议中的义务,并带来承担巨额赔偿责任的风险。
通常,NDA包含“不得用于本合同目的以外的用途(禁止目的外使用)”以及“未经对方事先书面同意,不得向第三方披露(禁止第三方披露)”的条款。员工将从交易伙伴处获得的资料输入生成型AI进行总结或分析的行为,很可能会明显违反这些条款。
从合同当事人的角度来看,AI服务提供商属于“第三方”。除API使用和面向企业的付费计划外,仅通过一般条款提供的服务会将输入数据存储在开发者的服务器上,并用于特定目的(如模型改进等)。这实际上是在“合同目的外”使用所托付的信息,并提供给“第三方”。
此外,根据日本数字厅和内阁网络安全中心(NISC)在令和7年(2025年)2月发布的警示,如果使用如DeepSeek等海外基地的AI服务,数据可能会存储在国外服务器上,并适用当地法律(如审查或征用的可能性)。将交易伙伴的信息置于如此不确定的环境中,可能成为被指控违反合同上善管注意义务的有力依据。
违反日本个人信息保护法与隐私风险

在利用生成AI处理个人数据时,必须严格遵守日本的《个人信息保护法》及相关指南。日本个人信息保护委员会已于令和5年(2023年)6月发布了注意事项,明确了企业需要遵循的事项。
明确利用目的与剖析的注意事项
根据日本《个人信息保护法》第21条第1项,获取个人信息时,除非事先已公开其利用目的,否则必须迅速通知本人或公开该利用目的。在将获取的个人数据用于AI学习时,需要讨论该行为是否在既定利用目的的范围内,或者是否需要重新明确“AI学习及输出生成”这一目的。
特别是在招聘选拔或人事评估中使用AI分析(剖析)候选人的性格和适应性时,由于可能对本人的权利和利益产生重大影响,因此要求更具体地明确和说明此类分析处理作为利用目的。在针对令和7年(2025年)以后的法律修订讨论中,强调了不受剖析决定的“权利”以及确保透明性,AI自动决策的监管趋向于加强。
第三方提供与“委托”的界限
在将个人数据输入AI服务时,判断其是否属于日本法律第27条第1项中的“第三方提供”或“委托”是一个重要的法律分界点。一般来说,如果输入的数据被AI开发者用于其自身模型的学习,这种情况下,委托方无法完全控制数据的使用目的,因此很可能被视为第三方提供。在这种情况下,必须事先获得本人同意。然而,在实际操作中,从不特定多数个人那里获取关于AI输入的个别同意极为困难。
另一方面,如果合同中保证输入数据不会用于学习(如API使用或某些面向企业的付费计划),则更容易将其整理为法律上的“委托”框架。然而,即便如此,根据日本《个人信息保护法》第25条,企业仍有义务对委托方(AI企业)进行必要且适当的监督。
关于向外国第三方提供信息的论点
在使用由OpenAI(美国)或DeepSeek(中国)等外国企业提供的AI服务时,将适用日本法律第28条关于“向外国第三方提供信息的限制”。当向被认为不具备与日本同等保护水平的国家的企业提供数据时,需要在向本人提供当地法律制度相关信息的基础上,采取获得个别同意等措施。
特别是在令和7年(2025年)2月,日本个人信息保护委员会和数字厅的注意事项中指出,对于数据存储在中国的服务器上的服务,基于当地的《国家情报法》等法律,存在政府进行审查或数据征收的可能性,因而表达了对由地缘政治风险引发的隐私侵害的担忧。将个人数据输入存在此类风险的服务中,可能被认为不当侵害了本人的权利和利益,因此需要进行慎重的考虑。
系统措施以最小化风险
为了使AI社内规章切实有效,不仅要依赖员工的个人意识,还需要构建系统性的“护栏”。通过结合最新的AI技术和规章,可以显著提高法律上的安全性。
通过选择退出设置和API使用确保安全
最基本的对策是彻底执行输入数据不被用于AI学习的“选择退出”机制。在ChatGPT等个人服务中,可以通过设置界面关闭历史功能来拒绝学习,但从组织控制的角度来看,不建议将此操作委托给员工个人。
更为可靠的方法是通过API(应用程序编程接口)进行使用。主要的AI服务提供商在其规章中明确表示,通过API发送的数据原则上不用于模型学习。通过使用API构建独立的内部前端,可以系统性地阻止输入数据被二次用于学习。
通过企业付费计划提供合同保障
在整个组织中引入AI时,可以考虑采用ChatGPT Enterprise或Azure OpenAI Service等企业付费计划。这些服务适用与个人计划不同的严格企业规章,合同中保证数据权利归用户企业所有,不用于模型学习,并在数据传输和存储时进行加密(AES-256、TLS 1.2+等)。
此外,选择通过SOC 2 Type 2等独立审计的服务,可以作为安全管理体系达到一定水平的客观资料,有助于解释供应商选择的合理性和风险管理的适当性。然而,仅凭这些认证的存在并不能立即被视为尽到了善管注意义务,还需要根据具体的使用方式和风险进行额外的考量。
掩码处理和数据匿名化
作为技术性操作,引入在输入前自动将提示中包含的个人姓名或特定项目名称替换为掩码或符号的“掩码处理”是有效的。这样,即使平台意外发生信息泄露,也能防止信息与特定个人或企业机密相关联,从而将实际损害降到最低。
防止信息泄露的AI内部规定要点
有效的内部规定不应仅仅是“禁止事项的罗列”。员工需要能够立即判断在何种范围内可以使用AI,并且需要有具体的行动指针来规避法律风险。
输入禁止信息的“重新定义”和分层
避免使用“禁止输入机密信息”这种模糊的表达,重要的是根据信息的性质进行分层定义。
- 级别1(绝对禁止信息):基于保密协议从交易伙伴处获得的未公开信息、自公司未发布的财务报表、独有算法、客户的姓名和地址等个人数据。
- 级别2(条件允许信息):匿名化的会议记录、已公开的技术信息整理、标准化商务邮件的校对。
- 级别3(推荐使用范围):编程语言的语法检查、一般概念的解释、创意构思。
通过这样具体的事例定义,可以降低员工的判断成本,同时抑制无意识的违规行为。
例外批准流程和使用预期报告(Context Report)
一刀切的禁止会导致影子AI的出现,因此在特定业务中需要将高级信息(例如特定合同的审查等)输入AI时,应设立“例外批准流程”。在此过程中,不仅仅是“想使用”的申请,而是要求提交包含以下三个要素的“使用预期报告(Context Report)”的流程。
- Tool(工具):使用哪个AI模型,采用何种设置(选择退出、API使用等)。
- Input(输入):输入何种数据(是否包含个人信息等)。
- Output(输出):生成物将用于何种目的(仅限内部、提交给客户、网络公开等)。
通过法务或IT部门事先审查这些报告,可以在组织上控制风险与收益的平衡。
关于个人信息处理的特别规定
规定中应设立与个人信息保护法保持一致的特别规定。原则上禁止“输入可识别个人身份的个人数据”,在业务上不可或缺的情况下,应事先明确基于法律的适当同意获取或隐私政策的补充流程。
此外,在用于招聘筛选等的分析时,应理解AI判断的局限性(幻觉风险),并且最终决定必须由人类进行,需纳入“Human-in-the-loop”的原则。
监控与事后应对机制

仅仅制定并宣传规定并不足以作为治理措施。需要持续确认既定规则是否被实际遵守,并在规定中纳入应对突发事件的体制。
使用情况记录与审计权限
明确公司拥有记录通过内部网络进行的AI使用日志并定期审计内容的权限。日志的保存作为“预防性威慑力”,有助于早期发现不当使用(例如过度输入个人信息)。此外,在事故发生时,日志也成为数字取证(证据保全)的基础,以准确掌握何时、何人、输入了何种信息。
事件发生时的初步应对
在怀疑信息泄露的情况下,需事先制定报告路径和应对步骤。由于通过AI输入导致的泄露不同于物理丢失,信息扩散极难阻止。因此,应在事件曝光后立即考虑向AI服务提供商请求删除,同时组建紧急应对团队,以履行对受影响的交易伙伴和个人信息保护委员会的法律报告义务(如日本法律第26条等)。
持续更新(敏捷治理)
生成AI的技术进步及其相关的国内外法律法规正在以空前的速度变化。令和6年(2024年)的“AI服务提供商指南”的制定,以及令和7年(2025年)至令和8年(2026年)期间计划的个人信息保护法修订等,规则本身不断更新。
因此,企业内部规定不应视为“一次性完成”的事项,而应每半年至一年进行定期审查,以适应技术特性和新的地缘政治风险(如DeepSeek等新兴服务的崛起),即要求实践“敏捷治理”。
总结:正确面对恐惧,全力以赴推动“AI社内规定”
生成AI带来的破坏性便利性已不再是单个企业的选择,而是生存所必需的竞争力源泉。然而,本稿详细阐述的“信息泄露”风险,可能会在一夜之间使企业多年努力建立的商业秘密变得毫无价值,失去法律保护,并损害社会信任。这种风险是真实存在的威胁。然而,过度恐惧风险而全面禁止AI的使用,只会导致组织停滞不前,并助长暗地里的无序使用,这无疑是另一种巨大的风险。
真正需要的是基于法律知识建立坚固的“护栏”,以便员工能够毫不犹豫地、安全地、最大限度地发挥AI的力量。明确的社内规定不仅仅是一个规章文件。它是组织定义自身信息价值并决心保护它的声明,进而成为对交易伙伴和社会的“信任”基础。当组织正确理解AI的机制和法律风险,并将技术对策与社内规定作为车之两轮共同运作时,生成AI这一强大的武器才能真正成为推动业务飞跃的动力源泉。
本事务所的对策指南
Monolith法律事务所是一家在IT领域,特别是互联网和法律方面拥有丰富经验的法律事务所。AI业务伴随着许多法律风险,因此需要熟悉AI相关法律问题的律师提供支持是必不可少的。本事务所由精通AI的律师和工程师等团队组成,针对使用ChatGPT等技术的AI业务,提供合同书制作、商业模式合法性审查、知识产权保护、隐私应对、AI内部规章制度完善等高级法律支持。详细信息请参阅下列文章。
Category: IT




















