什么是生成式AI(生成式人工智能)?企业引入前必知的优势、风险与注意事项

专栏
什么是生成式AI(生成式人工智能)?企业引入前必知的优势、风险与注意事项

前言

面向正在考虑在企业中引入生成式AI的负责人,本文将通俗易懂地梳理生成式AI的基础知识、主要应用场景、潜在风险、企业使用指南、全员AI技能再培训,以及PoC(概念验证)的推进方法。

Tatsuya Ito

Tatsuya Ito

人工智能顾问

company-icon

Third Scope Inc.

1985年出生于日本三重县。 2012年,他以工程师身份加入香港一家AR初创公司。此后,他先后在多家AI初创企业参与新业务开发及AI服务的策划与上线。 2018年,他通过承接一项AI服务及其开发团队,创立了现今的Third Scope Inc.。目前,他主要为企业提供AI导入与应用支持,重点涵盖AI驱动的新业务开发、业务流程转型以及产品开发。 此外,他还曾以东京大学项目研究员的身份参与AI相关研究。如今,他持续活跃在AI项目开发的一线,并结合技术与商业两方面的视角,为企业提供务实且可落地的咨询服务。

可以把这份会议纪要粘贴到AI助手里做总结吗?

企业采用生成式AI前,应先明确“目标业务”“使用者”“输入数据”和“输出审核负责人”这4点,再比较工具。如果这4点没有明确,即使工具功能再方便,也很难判断其安全性和投入产出比。

企业开始在业务中使用生成式AI,往往就源于开头这种来自一线的实际问题。销售或职能部门提出需求,信息系统部门或数字化转型推进部门需要判断是否可行,管理层则会进一步考虑“能否在全公司推广”。但如果哪些信息可以输入、由谁审核输出、遇到问题向谁咨询都没有明确,企业就很难安全地把生成式AI真正落地到业务中。

我既协助企业设计生成式AI落地方案,也参与企业级AI软件开发。从管理层的投资决策和开发者的数据流、权限设计这两个视角来看,决定落地成败的并不只是模型性能。能否把使用目的、业务流程、信息管理、培训和评估指标设计成一套完整的运营机制,并在组织内稳妥推广,同样至关重要。

本文面向希望在业务中应用生成式AI的企业管理者,以及数字化转型推进、信息系统、经营规划、法务和职能部门负责人,系统介绍基础知识、预期效果、风险、工具选型、内部指南、概念验证(PoC)和正式推广。有关法律法规和合同的内容仅为一般性参考,不构成针对具体情形的法律意见。实际运营时,请结合企业自身的业务、数据和合同条件,必要时向律师等外部专业人士咨询。

企业推进生成式AI时,可以先按以下顺序梳理,以减少关键决策事项的遗漏。

  1. 了解生成式AI的特点以及与企业自身相关的风险
  2. 确定使用目的、目标业务、使用者和评估指标
  3. 完善内部指南、权限、培训和咨询机制
  4. 通过范围受限的PoC验证效果、质量、风险和运营负担
  5. 正式推广后继续监测使用情况,并更新规则和系统

后文将围绕工具选型前的准备、内部指南、PoC评估方法和落地步骤,逐项说明具体判断要点。

生成式AI并不是部署后就能自动产生价值。只有明确目标业务并设计好人工审核流程,才能更稳妥地支持起草、总结、信息整理和内部知识检索等工作,让员工把更多时间用于判断、沟通和业务改进。

什么是生成式AI

文本撰写、总结、调研和客户服务等企业生成式AI的主要应用领域

生成式AI是指根据输入的指令或数据生成文本、图像、音频、视频和代码等新内容的一类AI。在企业场景中,更适合把它作为辅助起草、总结、分类、检索和创意整理的工具,而不是无需人工参与就能直接产出成品的系统。

传统AI已广泛用于需求预测、欺诈检测、图像分类等围绕既定目标进行判断或预测的场景。生成式AI能够接收自然语言指令,并结合上下文生成内容,因此无需专业操作,也能支持较广泛的知识型工作。

不过,生成式AI并不能像人类那样理解事实,也无法保证回答正确。它会基于从大量数据中学习到的语言模式,预测并生成最可能接续输入的内容。因此,即使输出自然流畅、看起来很有说服力,也可能包含事实错误或无法核实的依据。

在实际业务中,应把生成式AI定位为“起草助手”“信息整理助手”或“检索与构思的起点”,并明确由人负责设定目标、核实事实、处理例外情况和最终审批。

生成式AI的典型应用领域及人工审核要点
应用领域 具体示例 主要审核要点
文本撰写 电子邮件、内部通知、提案和文章结构的草稿 事实、专有名词、语气、是否混入公司机密信息
总结 会议纪要、报告、规章和咨询记录的总结 重要事项是否遗漏、发言人或条件是否混淆
调研辅助 梳理议题、建立比较维度、列出需要补充调研的项目 信息更新日期、来源、调研范围、反对意见
创意构思 企划方案、培训主题和改进方案的初步构想 可行性、与现有措施是否重复、权利关系
客户服务辅助 FAQ回答草案、咨询回复草案、商务洽谈准备 合同条件、客户特有信息、审批人、问责与对外说明义务
内部知识应用 参考规章、手册和历史资料提供检索与问答支持 参考来源、文档更新日期、访问权限、无法可靠回答时的处理方式

生成式AI较适合用于没有唯一正确答案的起草、总结、分类、改写和创意构思等工作。对于合同签署、授信、人事评价、法律判断和安全相关判断等错误后果较严重的业务,则不应把决策完全交给生成式AI。

选择企业级生成式AI服务时,这一职责划分同样适用。预先明确哪些环节可以交给AI、哪些环节必须由人审核,以及在什么情况下应停止处理,更有利于兼顾效率与风险管理。

为什么企业如今正在加快引入生成式AI

用工短缺、业务依赖个人经验和知识分散等企业考虑生成式AI的背景

企业正在加快采用生成式AI,一方面是因为自然语言交互式AI服务快速普及,另一方面是文本起草、信息整理等知识型工作的负担较重,同时AI治理框架也在持续完善。生成式AI并不能解决所有问题,但已经成为辅助知识型工作的一项现实选择。

企业内部存在大量文本信息,例如销售邮件、提案、会议记录、内部制度、咨询记录和调研笔记。创建、审核和检索这些信息都需要时间,不同人员之间的质量和流程也可能存在差异。生成式AI很容易与这类以文本为中心的工作结合,因此往往具备跨部门应用的空间。

例如,销售部门可用它准备商务沟通材料和邮件草稿,职能部门可用它起草内部咨询回复,市场部门可用它梳理内容结构和表达方案,经营规划或数字化转型部门则可用它整理调研议题。最终判断仍应由人作出,但从零开始制作初稿,或从长篇资料中提取审核要点等工作,可以由生成式AI辅助完成。

评价生成式AI的价值,不应只看“直接替代了多少人工工作”。它能否缩短起草和整理时间,让员工把更多精力用于客户沟通、例外判断、质量审核和业务改进,同样是衡量落地效果的重要因素。

在制度层面,日本于2025年6月4日公布并部分施行《人工智能相关技术研究开发及应用推进法》(通常简称“AI法”),并于同年9月1日全面施行。2025年12月19日,日本政府又发布了关于确保人工智能相关技术研发与应用适当性的指南,进一步提出风险导向、利益相关方参与和全生命周期治理等原则。

此外,日本相关部门发布的《AI业务主体指南》(AI Guidelines for Business)已于2026年3月31日更新至1.2版。该版本纳入AI智能体和具身AI等技术发展,并继续从AI开发者、提供者和使用者等角色出发,强调全生命周期的风险识别与治理。

读完这些法律和指南,并不等于企业自身的应对方式就自动明确了。更重要的是梳理企业以何种角色使用AI、会涉及哪些数据和业务,并在必要时与法务、安全和个人信息保护负责人共同确认。

企业负责人首先应了解的生成式AI原理

LLM、提示词、幻觉、RAG和微调之间的关系

企业负责人首先需要理解的是:生成式AI如何生成回答、错误可能在哪里出现,以及如何让系统检索并引用内部数据。无需掌握模型背后的数学公式,但如果只记住术语和功能名称,就很难做好工具选型和风险判断。

LLM

LLM是“大语言模型”(Large Language Model)的缩写。它会从大量文本数据中学习语言模式,并根据输入的上下文预测和生成文本。LLM并不像数据库那样原样检索训练数据,也不会自动保证回答正确。在业务应用中,除模型本身外,还应确认所用服务的数据管理、检索联动和管理员功能。

提示词

提示词是向生成式AI提供的指令或输入信息。明确目的、目标读者、前提条件、可用信息、输出格式、禁止事项和审核要点,更容易获得符合预期的输出。不过,提示词写得再详细,也不能保证结果一定准确。原始数据不足或相互矛盾、模型能力限制以及服务端设置都会影响输出。

幻觉

幻觉是指生成式AI生成看似合理、实际却与事实不符或无法核实的内容。数字、专有名词、引用、法律法规、判例、合同条件和产品规格等,都应与第一手信息或可靠资料核对。即使要求系统“如果不知道就回答不知道”,也无法完全避免错误。

RAG

RAG是“检索增强生成”(Retrieval-Augmented Generation)的缩写。它会先从内部文档或数据库中检索与问题相关的信息,再参考这些内容生成回答,可用于内部FAQ、制度检索和手册检索等场景。其质量不仅取决于检索准确性,还会受到源文档质量、更新时间、文档切分方式、访问权限、引用展示方式以及无法回答时的处理规则影响。

微调

微调是对现有AI模型进行进一步训练,使其更适应特定任务或输出风格的方法。如果目标是让系统使用频繁更新的内部信息,RAG或其他数据接入方式往往更合适。在落地初期,更现实的做法是先梳理目标业务、数据质量、提示词、RAG和审核流程,只有这些手段仍无法满足需求时,再考虑微调。

工具选型时,如果只问“哪个模型性能最高”,很容易偏离真实业务需求。更重要的是综合评估:输出质量是否达到目标业务要求、错误是否容易发现、数据能否得到有效管理,以及费用和响应时间是否处于可接受范围。

引入生成式AI可期待的效果

缩短业务时间、统一质量、利用知识和辅助培训等引入生成式AI的主要效果

采用生成式AI后,企业可能获得的主要收益包括缩短工作时间、减少质量差异、改善内部知识获取以及辅助员工学习。不过,单纯部署工具不会自动带来效果。应先记录上线前的基准值,并在包含审核和修改在内的完整业务流程中进行测量。

缩短业务时间

生成式AI可以缩短电子邮件、会议纪要、资料和调研笔记等内容的起草与总结时间。尤其是输入信息较完整、输出格式相对固定的重复性工作,通常更适合作为早期验证对象。

如果只测量AI生成内容所需的时间,就无法判断真实效果。比较业务耗时时,应把信息准备、提示词输入、等待输出、事实核查、修改、审批和共享等环节都计算在内。即使生成速度很快,如果后续修改耗时很长,整体流程也未必得到改善。

  • 采用前后的端到端工作耗时
  • 修改量及修改耗时
  • 审核人员的确认时间
  • 退回和重新制作的次数
  • 节省出的时间能够重新分配到哪些业务

即使把节省的时间折算成人工成本,也不意味着这些时间会立即转化为实际成本下降。还应明确腾出的时间能否用于客户服务、业务改进或增加处理量,这样才能更准确地说明业务价值。

统一质量

把内容结构、审核项目、表述规则和优质输出示例整理成共享模板,有助于减少不同人员之间的质量差异。

例如,可以把客户邮件的必填项目、提案的章节结构和内部报告的审核要点固化到提示词或输入表单中,让经验较少的人员也能更稳定地覆盖必要事项。重点并不是让生成式AI替企业决定正确答案,而是把组织已有的业务规则转化为可重复执行的流程。

评估质量时,不应只看“是否易读”等主观印象,还应把必填项目完整性、事实准确性、禁用表述、修改位置和审核结果等纳入明确标准。生成式AI可以帮助稳定质量底线,但不会自动提升专业深度或说服力。

促进知识应用

企业积累的制度文件、手册、FAQ、提案和会议纪要,仅仅保存起来并不等于真正被利用。员工可能因为不知道信息存放在哪里、想不到合适的检索词,或无法判断哪个版本最新,而找不到所需内容。

将生成式AI与检索机制结合,可以让用户通过自然语言提问,并基于相关资料获得回答。不过,回答质量并不只由AI模型决定。源文档质量、更新责任、访问权限、检索效果、参考来源展示方式,以及无法回答时的处理机制都很重要。

从工程师角度看,相比回答是否流畅,我更重视“参考了哪些资料”“是否调用了用户无权访问的文档”“没有依据时能否明确拒绝作答”。在内部知识场景中,数据治理和检索设计往往比单纯的生成能力更能决定实际效果。

提高培训与技能再培训效率

生成式AI可以辅助员工提问、获取文本改进建议和开展模拟问答练习。把这些能力与AI素养培训、部门业务培训和管理人员培训结合,更有利于把知识转化为实际工作能力。

不过,AI给出的说明也可能包含错误。用于内部培训时,需要限定参考资料、安排负责人确认正确答案,并确定AI可以回答的范围。

一次性培训通常不足以让使用方法真正落地。企业还应准备经过批准的模板、咨询渠道、使用示例、失败案例和规则更新通知,让员工在实际工作中能够持续查阅和复习。

引入生成式AI时需要注意的风险

信息泄露、错误信息、知识产权、影子IT和成本等引入生成式AI的主要风险

采用生成式AI时,至少要关注信息泄露、事实错误、知识产权、影子IT和成本这5类风险。风险很难完全降为零,因此更现实的做法是评估发生概率和潜在影响,并提前明确预防措施、检测方法以及问题发生后的责任人。

信息泄露

如果员工把个人信息、客户信息、合同信息或未公开信息输入公司未批准的生成式AI服务,企业往往难以控制数据的存储位置、保留期限、二次使用方式和删除机制。

这一问题并非只会因恶意行为发生。员工为加快业务处理,可能直接粘贴会议纪要或电子邮件,无意中发送了不应输入的信息。

应对这类风险,可以先把信息划分为“公开信息”“内部一般信息”“客户信息”“个人信息”和“机密信息”等类别,再针对不同服务和合同方案明确哪些数据允许输入。同时还应确认输入数据是否用于训练、数据保留期限和存储地点、分包处理方、管理员权限、审计日志、合同终止后的删除方式以及安全事件通知机制。

即使进行了匿名化或脱敏处理,也可能通过上下文重新识别个人或企业。不能仅因为“删除了姓名”就认定安全,还应判断是否确有必要把相关数据发送给外部服务,还是更适合在内部环境中处理。

日本个人信息保护委员会曾在2023年就生成式AI涉及的敏感个人数据收集风险发出警示;路透社对此次监管行动的报道记录了相关要求。企业的具体做法仍应结合适用的数据保护规则、使用目的、法律依据、合同、输入数据以及所用服务的规格确认。

使用错误信息

生成式AI可能生成与事实不符的内容,也可能编造并不存在的来源。输出越自然流畅,使用人员反而越容易忽略其中的错误。

合理的做法并不是用同样的强度审核所有输出,而是根据错误后果设置不同的审核级别。内部创意讨论与提交给客户的合同相关材料,显然需要不同的审核标准。

  • 将数字、日期、专有名词、引用和URL与第一手信息核对
  • 法律法规、合同、医疗、金融和安全相关内容由专业负责人审核
  • 在能够显示参考来源的机制中,不仅审核回答文本,也要核对原始资料
  • 无法核实依据的输出,不用于对外发布或重要决策
  • 在不允许出错的业务中,不让AI单独完成全部处理

AI回答“看起来是否自信”不能作为准确性指标。企业应预先明确最终责任人,并规定审核时必须核对的信息来源。

著作权与知识产权问题

使用生成式AI时,应同时从输入和输出两端确认著作权、商业秘密、商标、合同条件和服务条款等问题。

能否输入其他公司的文章、图像、资料和源代码,不仅涉及著作权,也关系到合同和保密义务。即使是生成内容,如果与现有作品相似或包含第三方权利,也可能因使用方式而产生问题。

对于对外发布的文本、图像和代码,应确认来源、引用、与现有作品的相似性、商标,以及所用服务对输出的使用条件。对于要求复现特定作品或作者风格的指令,请谨慎考虑其目的和使用范围。

在知识产权风险管理方面,世界知识产权组织(WIPO)发布了中文《生成式人工智能:知识产权导航》,提供了面向企业的风险提示和检查清单。不过,这类资料不能替代对具体情形的法律判断。难以判断时,应向法务负责人、律师或知识产权专业人士咨询。

影子IT

如果公司没有明确的使用方针,员工可能在业务中自行使用个人账号或未经批准的服务。这样一来,企业就难以管理输入数据、合同条件、使用记录、离职后的账号与数据,以及安全事件发生后的调查。

全面禁止是一种选择,但如果一线确有强烈需求,仅靠禁令反而可能让实际使用情况更难掌握。更有效的做法是提供可安全试用的公司批准环境、简洁的申请流程和咨询渠道,并向员工说明个人账号带来的风险。

治理影子IT不能只靠增加禁止事项,还需要让获批工具真正好用。如果正式环境无法满足一线业务需求,就很难从根本上减少非正式使用。

成本不透明

生成式AI服务的费用会随用户数、使用次数、输入和输出数据量、API使用量、存储容量、联动功能和支持内容等变化。PoC阶段金额较小的费用,在全公司推广后也可能增加。

除使用费外,还要估算培训、咨询应对、数据整理、系统联动、安全审查、法务审查、监控和合同管理的费用。自行开发时,不仅需要初期开发成本,还需要应对模型或API变化的维护费用。

简易估算示例:月度收益 = 节省的总工作时间 × 人工成本折算额 + 质量改善带来的效果 − 使用费 − 运营、培训和维护费

该公式只能用于粗略评估,并非所有收益都能准确折算为金额。节省下来的时间也未必会直接转化为人工成本下降,因此还应分别评估处理量提升、客户服务改善、培训时间缩短等企业真正希望实现的结果。

企业引入生成式AI,不应从“工具选型”开始

比较生成式AI工具前应梳理的目标业务、使用者、数据和审核负责人

企业采用生成式AI,应先定义业务需求和运营条件,而不是一上来就比较工具名称或模型性能。如果目的不明确,企业很容易把精力花在并不需要的功能上,同时遗漏关键的安全和管理要求。

我在设计落地方案时,会优先确认以下4点。

  1. 希望改善哪项业务的哪个环节
  2. 哪些部门、岗位和员工将使用
  3. 可能输入、引用和保存哪些数据
  4. 由谁审核输出,发生问题时由谁应对

明确这4点后,才能进一步确定所需的生成质量、检索能力、权限、日志、合同条件和费用上限。例如,只使用公开信息起草文本,与检索包含客户信息的内部文档相比,对数据管理的要求会有很大差异。

比较生成式AI工具时的主要确认项目
比较项目 确认内容 确认理由
输入数据的使用 是否用于训练或质量改善、退出机制、是否向第三方提供 避免公司不希望发生的二次使用
保存与删除 保存期限、保存地点、备份、合同终止时的删除 掌握数据所在位置和生命周期
认证与权限 SSO、多因素认证、按部门或岗位设置权限、停用离职人员账号 防止违规使用和越权访问
日志与审计 使用记录、管理员日志、导出、保存期限 掌握使用情况并为问题发生后的调查做好准备
生成质量 目标业务中的准确性、指令遵循、引用显示、响应速度 判断是否适合企业自身业务,而非只看通用性能
内部数据联动 RAG、访问权限继承、文档更新、参考来源显示 避免回答中混入错误信息或无权访问的信息
合同条件 责任分工、SLA、赔偿、输出使用条件、规格变更、解约 明确服务中断或发生问题时的应对范围
费用 按用户收费、按用量收费、API、存储、支持、最低合同期限 比较PoC与正式推广的总费用
运营支持 咨询渠道、故障通知、管理员支持、更新信息 判断仅靠内部负责人能否持续运营

日本经济产业省于2025年2月18日发布了AI使用与开发合同检查清单;Baker McKenzie对该清单的英文解读概括了输入数据、输出成果、权利归属和第三方共享等主要检查事项。企业可以把这类清单用于法务审查前的初步梳理,但具体合同是否合适,仍需结合企业自身的使用方式判断。

首先需要确定的,不是使用哪种AI,而是希望在什么条件下、以何种方式改变哪项业务。

从工程角度比较工具时,我不仅会评估正常情况下的生成质量,还会关注错误回答是否容易被发现、系统能否停止或回退,以及管理员能否掌握使用情况。对于企业系统来说,失败时是否可控,与正常情况下是否好用同样重要。

在落地初期,可以把目标业务限定为一到两项,例如使用公开信息起草邮件、校对内部文本,或总结不含机密信息的资料。这类场景更容易衡量效果与风险,也有助于逐步明确后续所需条件。

为什么需要面向全体员工开展技能再培训

生成式AI培训涉及的基础知识、提示词、信息管理、错误信息、著作权和内部规则

面向全体员工开展技能再培训,并不意味着所有人都要接受同样的高阶操作培训。如果公司决定使用生成式AI,至少应让全体员工理解“哪些内容不能输入”“AI回答可以信任到什么程度”“不确定时应该向哪里咨询”。再根据不同使用人员和岗位安排有针对性的实操培训,会更符合实际。

培训的目的不是背诵所谓“好用的提示词”,而是理解生成式AI的局限,安全处理信息,正确审核输出,并形成由人承担业务责任所需的判断能力。

全员技能再培训中的通用知识和分角色内容
对象 主要内容 目标状态
全体员工 生成式AI基础、禁止输入的信息、错误信息、获批工具、咨询渠道 能判断允许使用的范围,并在不确定时主动咨询
实际使用者 按业务设计的提示词、输入前确认、输出审核、记录方法 能在目标业务中以安全且可复现的方式使用
管理人员 使用审批、成果责任、KPI、下属指导、例外判断 避免过度禁止或无条件使用,并能承担业务责任
推进与管理部门 工具选型、权限、日志、合同、指南、安全事件应对 能管理使用环境并持续改进规则
管理层 引入目的、投资判断、可接受风险、责任机制、对业务的影响 能够将其作为经营举措而非单纯技术项目进行决策

通用培训应涵盖生成式AI基础、提示词、允许输入的信息、幻觉、著作权和内部规则。面向实际使用部门开展培训时,不应随意使用真实业务数据,而应优先使用模拟数据或经过批准的数据进行练习。

培训主题可包括不含机密信息的邮件草稿、会议纪要总结、内部文本改写和调研项目梳理等。把输入前的数据确认和输出后的事实及表述审核都纳入同一次练习,员工就更容易同时理解操作方法和业务责任。

培训效果不能只看参加率。还应确认员工能否识别禁止输入的信息、能否完成必要审核、能否使用获批环境,以及遇到困难时能否主动咨询。

培训结束后,还应提供持续的咨询渠道,并维护常见问题、经过批准的提示词模板、优秀案例、失败案例和规则更新通知。生成式AI服务和功能会持续变化,因此培训也需要定期更新。

内部指南中应确定的事项

允许使用的业务、禁止输入的信息、输出审核、可用工具和日志管理等生成式AI指南项目

内部指南至少应规定“允许使用的业务”“禁止输入的信息”“输出审核”“可用工具”以及“日志与审计”。此外,还应明确例外申请、咨询渠道、安全事件报告和修订负责人,帮助一线人员快速作出判断。

一开始就制定覆盖所有情况的规则并不现实,可以先发布优先级较高的要求,再根据实际问题和未遂隐患持续更新。指南不是制定后存档即可的文档,而应随着实际运营不断维护。

如果只列出禁止事项,员工就无法判断“到底可以用来做什么”。请以相同的详细程度说明允许使用、禁止使用和满足条件时可以使用的示例。

允许使用的业务

应按具体工作环节说明哪些业务可以使用生成式AI。例如,“可以用于文本撰写”的范围过于宽泛,应写成“使用已公开信息撰写邮件草稿”“校对不含机密信息的内部文档”等包含输入数据和审核条件的表述。

表述示例:可以使用公开信息及公司批准使用的信息进行文本起草、总结和表述改进。但在对外发送或发布前,必须由负责人审核内容。

确定允许使用的业务时,应确认发生错误时的影响、能否由人审核、处理量是否较大,以及能否测量效果。

禁止输入的信息

原则上,在尚未确认使用环境和合同条件前,不应输入个人信息、客户机密信息、合同中的非公开信息、未公开财务信息、认证凭据、人事评价和招聘相关敏感信息等。

实际业务中,将信息分为“可以输入”“仅限获批环境输入”“需要事先审批”和“禁止输入”等类别,更便于一线判断。即使是相同信息,在免费个人服务和公司签约并管理的环境中,处理方式也可能不同。

表述示例:除公司针对特定环境和用途另行批准外,不得输入客户名称、可识别个人的信息、合同约定的秘密信息、未公开经营信息、密码或API密钥。

脱敏处理并不代表一定安全。仍有可能根据上下文重新识别个人或企业,因此应确认相关信息是否确有输入必要,以及是否存在重新识别风险。

输出审核规则

应规定由谁在什么阶段审核生成式AI生成的哪些内容。要求所有输出接受相同审核会加重运营负担,因此应根据使用目的和影响划分级别。

生成式AI输出审核级别示例
使用场景 审核示例
个人整理创意 由使用者本人确认内容,并作为决策参考信息
内部共享文档 由创建者确认事实、数字、专有名词和机密信息
面向客户的文档 由业务负责人确认内容、合同条件、表述和个人信息
涉及法务、财务、人事或安全的文档 由专业部门与第一手信息核对,并根据需要限制使用

表述示例:生成式AI的输出仅作为草稿。在对外发送、公开,或用于合同判断、招聘与评价、会计处理前,必须由相关业务负责人审核。

审核项目应包括事实、数字、日期、专有名词、引用、禁用表述、个人信息、第三方权利,以及与内部规则的一致性。

可用工具范围

应梳理公司允许使用的工具、正在验证的工具和不允许用于业务的工具。同时确定是否允许使用个人账号、公司账号的发放、调岗或离职时的停用,以及外部共享功能的使用条件。

指定可用工具时,除费用和生成性能外,还要确认输入数据的处理方式、管理员功能、认证、权限、日志、数据保留、合同条件、发生故障时的联系机制和支持体系。

表述示例:业务中只能使用经公司批准并由公司发放账号的服务。试用新服务时,应填写拟输入的数据和使用目的后提交申请。

如果获批工具清单中显示可用部门、用途、允许输入的信息、咨询渠道和最后确认日期,就更容易防止因信息过时而误用。

日志与审计的基本思路

能够确认谁在何时使用了哪项服务的日志,有助于掌握使用情况、管理费用和调查问题。

另一方面,如果保存全部输入内容,日志本身也可能积累个人信息或机密信息。应明确记录哪些内容、为何记录、保存多久、谁可以查看,以及外部导出和删除方式。

表述示例:仅在掌握使用情况和调查安全事件所需的范围内收集日志。应限定日志查看人员、保存期限和使用目的,不得挪作他用。

审计时不仅要看使用次数,还应检查未经批准的工具、禁止输入的信息、越权数据访问、异常使用量以及重复发生的同类错误。同时应明确审计范围仅限安全运营和改进所需,避免把日志变成员工监控工具。

让PoC取得成功的推进方法

生成式AI PoC中应确定的目标业务、参与者、成功指标、风险、负责人和正式上线条件

生成式AI的PoC应验证3点:“是否产生业务价值”“质量和风险是否处于可接受范围”“正式上线后能否持续运营”。仅仅证明技术能运行,或让用户试用过一次,并不足以支持正式部署决策。

开始PoC前,应记录当前业务耗时、质量、处理量、费用和咨询量。没有上线前的基准值,就无法判断采用生成式AI后是否真正得到改善。

开始生成式AI PoC前应确定的项目
项目 需要确定的内容 需要保留的证据与记录
目标业务 改善哪项业务的哪个环节 当前业务流程、输入、输出、例外情况
参与者 谁使用、谁评估 岗位、人数、使用条件、培训记录
成功指标 哪些指标达到什么程度才算有效 业务耗时、质量评估、修改量、持续使用率
风险 处理哪些信息、可能发生哪些错误 风险清单、禁止条件、已发生的问题
运营负责人 由谁负责权限、咨询、改进和问题应对 责任分工、联系方式、应对记录
正式上线条件 判断推广、重新验证或停止的条件 审批记录、未解决问题、追加措施

如果PoC的KPI只有使用次数,就无法判断真实业务价值。应综合评估端到端耗时、修改时间、输出质量、审核工时、持续使用率、咨询数量、错误、安全事件和运营费用。

例如,以会议纪要为验证对象时,不仅要测量AI生成总结的时间,还应统计准备录音或转写文本、修正错误、确认决议事项和负责人,并整理到可以向相关人员共享为止的总耗时。

质量评估不应只依赖使用者感想,还要评估必填项目遗漏、事实错误、表述问题和修改位置。如有可能,应按照预先确定的标准,比较相同输入下由人独立完成的成果与AI辅助完成的成果。

从工程师角度看,不仅要保留成功案例,也要以可复现的形式保留失败案例。记录在哪种输入下出现错误、参考数据是否不足、权限设置是否存在问题,从而判断应改进提示词、数据、模型、界面还是业务流程。

此外,PoC期间负责人通常会提供充分支持,因此环境可能比正式上线后更易使用。请预估正式上线后的使用者数量、咨询量、权限管理、数据更新、故障应对和费用,验证运营能否持续。

在确定正式上线条件的同时,也要确定重新验证和停止的条件。如果质量未达到标准、修改工时没有减少、信息风险无法管理,或运营负担超出预期,就需要考虑调整目标业务或实施方式。

引入生成式AI的基本步骤

基础认知、指南、用例选择、PoC和正式推广等引入生成式AI的5个步骤

企业采用生成式AI,可以拆解为基础认知、指南、用例选择、PoC和正式推广5个步骤。具体顺序可根据企业规模和现有管理体系调整,但技术、业务、培训和治理需要同步推进。

Step 1. 建立基础认知并开展全员技能再培训

首先,管理层、推进负责人和使用部门之间要共享生成式AI的引入目的、目标范围和不可接受的风险。目的不应表述为“使用AI”,而应表述为“改善哪项业务指标”。

在此基础上,向全体员工培训信息管理和咨询渠道等通用知识,向实际使用者培训目标业务的操作和审核方法。对于管理层、管理人员和推进部门,还要根据各自责任增加相应内容。

Step 2. 完善内部指南

梳理允许使用的业务、禁止输入的信息、可用工具、审批流程、输出审核、咨询渠道、日志和安全事件报告。

指南中应注明文档负责人、审批人、生效日期、修订记录和下次审查时间。还应预先明确,当服务规格或公司使用范围发生变化时,由谁负责更新。

Step 3. 选择用例

列出候选业务,比较预期效果、使用频率、数据机密性、错误影响、人工审核难度和系统联动难度。

在落地初期,优先选择使用频率高、效果易测量、不涉及重大决策且输出可以由人审核的业务,通常更容易验证。在扩大范围前,应先针对一项业务明确输入、输出、负责人和KPI。

Step 4. 实施PoC

限定参与者和目标业务,验证业务耗时、质量、易用性、风险、运营负担和费用。应准备PoC专用数据、账号和咨询渠道,避免不受控制地使用生产数据。

还应记录PoC期间出现的问题、错误输入、修改量较大的输出和未被使用的原因。除了成功率,掌握失败条件和应对方法也有助于设计正式运营方案。

Step 5. 正式推广与运营改进

如果PoC确认了有效性和可运营性,就分阶段扩大目标部门、使用者和数据范围。推广前,应确认权限、培训、咨询、故障应对,以及离职和调岗时的处理。

推广后也要定期检查使用情况、业务耗时、输出质量、咨询量、安全事件和费用,并根据模型或服务规格变化、内部文档更新和新风险,持续更新指南、培训、提示词和参考数据。

引入生成式AI时设想的主要角色分工
角色 主要责任
管理层负责人及项目发起人 引入目的、预算、优先级、可接受风险、正式上线审批
业务负责人 目标业务、KPI、输出审核、一线运营、改进判断
信息系统与安全部门 账号、权限、数据流、日志、系统联动、安全事件应对
法务与合规部门 确认合同、个人信息、知识产权、内部规章和问责与对外说明义务
人力资源与培训负责人 分角色培训、参训管理、咨询、持续提升素养
服务提供商 提供有关规格、数据处理、故障、变更和支持的信息

对于希望按项目梳理使用人员、参考数据、提示词和AI功能的企业,我们开发的Kanata也可以作为备选方案之一。对于只使用公开信息、不需要权限管理或内部数据联动的小规模个人场景,更轻量的服务可能更合适。

无论使用哪种服务,系统都不会自动替企业完成责任划分。企业需要把信息分类、权限管理、审核机制和咨询处理嵌入自身业务流程。

适合优先尝试的生成式AI用例

邮件草稿、会议纪要总结和资料改写等引入初期较适合考虑的生成式AI用例

在落地初期,应优先选择输入数据可管理、输出可由人审核且效果容易衡量的用例。相比追求高度自动化,从日常高频的起草、总结和整理工作入手,更容易发现真实运营中的问题。

引入初期较适合考虑的生成式AI用例
用例 容易限定的范围 KPI示例 主要确认事项
邮件草稿 使用公开信息或获批信息的固定格式邮件 创建、修改和审批所需时间,退回次数 客户信息、合同条件、误发、语气
会议纪要总结 限定参与者和保存位置的内部会议 共享前所需时间、修改量、决定事项遗漏 录音同意、发言人、机密信息、保存期限
资料改写 有原文且目的和读者明确的文本 修改时间、可读性、必填项目完整性 语义变化、数字、专有名词、权利关系
内部FAQ 限定目标文档和回答范围的咨询 自助解决率、回答时间、错误回答、转人工处理 参考来源、更新日期、访问权限、无法回答时的处理
制作培训内容 基于内部资料的结构方案和题目草案 制作时间、专业负责人修改量、学员理解程度 正确答案、过时信息、来源、与内部规则的一致性
商务洽谈准备 总结公开信息并整理候选问题 准备时间、问题质量、使用者持续使用率 信息更新日期、竞品信息、未经确认的推测
内容企划 梳理主题、结构和读者疑问 企划时间、入选方案、编辑时的修改量 原创性、事实核查、相似表述、搜索意图

选择用例时,除预期效果外,还应评估所处理的信息、发生错误时的影响,以及人工审核难度。即使效果看似很大,如果错误影响严重且难以验证,也可能不适合作为引入初期的对象。

例如,使用公开信息撰写邮件草稿相对容易验证;而涉及客户信息的合同判断、人事评价、贷款判断和安全相关判断,则需要连同信息管理和问责与对外说明义务一起谨慎研究。

定义用例时,不应停留在“在销售部门使用”这种部门层级,而应具体到“商务沟通前整理公开信息并生成候选问题”这样的业务流程。这样才能明确输入、输出、审核人员和KPI,也更容易评估PoC结果。

引入生成式AI时容易出现的3类失败

目标模糊、指南不便使用、知识集中于推进部门等引入生成式AI的失败案例

引入生成式AI时容易出现的失败包括:目标模糊就开始实施、指南无法支持一线判断,以及知识和责任只集中在推进负责人身上。这些问题与其说是技术问题,不如说是业务设计和组织设计问题。

引入目的模糊就开始实施

如果“使用生成式AI”本身变成目标,即使账号数和使用次数不断增加,也无法判断它与业务成果之间的关系。让员工自由试用后,也许会得到“很方便”的反馈,却未必能留下足以支持正式投资决策的数据。

开始实施前,应明确要改善哪项业务的哪个环节、当前耗时多少、需要维持怎样的质量,以及指标达到什么程度才算有效。

目标不应只写成“提高生产力”这类抽象表述,而应转化为可测量的指标,例如“比较从制作会议纪要到审批和共享的总耗时及修改量”。

管理层还需要明确把节省下来的时间重新投入到哪里。即使员工腾出了时间,如果处理量、客户体验或决策质量没有变化,也很难把它解释为可量化的业务成果。

指南无法在一线使用

即使指南写得很详细,如果员工无法在日常工作中据此作出判断,也很难真正执行。例如,如果只写“不得输入机密信息”,一线人员仍可能无法判断客户名称、内部会议记录和未公开价格信息是否属于限制输入范围。

指南除了写原则,还应给出允许使用、禁止使用以及满足条件后可以使用的具体示例,并明确遇到疑难问题时的咨询渠道。如果同时规定答复时限和紧急联系路径,也能减少一线人员转向非正式工具或流程的可能性。

此外,不能只发布文档,还应把规则嵌入员工实际作出判断的场所,例如获批工具界面、培训、FAQ和输入时的警告。除了让员工阅读规则,还需要通过设计降低误操作发生的可能性。

只有推进负责人掌握专业知识

即使只有数字化转型推进部门或信息系统部门熟悉生成式AI,也很难让应用在一线落地。如果中央负责人承担所有问题、提示词编写和输出审核,使用者越多,运营越容易陷入停滞。

推进部门不仅要完善规则和环境,还要与各部门业务负责人共同选择用例,并培养能够在部门内回答问题的负责人。部门负责人不必是AI专家,但必须能够说明本部门的业务、数据和审核标准。

此外,如果管理人员不了解生成式AI的特点和审核责任,可能会过度限制使用,或反过来未经审核就使用成果。请分别设计使用者、管理人员、推进部门和管理层所需的培训与责任。

总结

企业安全引入生成式AI时应梳理项目的总结

企业落地生成式AI的起点,是在签约工具之前明确目标业务、使用人员、输入数据和输出审核负责人。在此基础上,再把指南、培训、权限、PoC和评估指标设计成一套完整的运营机制。

考虑引入时,至少应确认以下项目。

  • 将生成式AI用于哪项业务的哪个环节
  • 允许输入、引用和保存哪些信息
  • 由谁按照什么标准审核生成内容
  • 公司批准哪些工具和账号
  • 向使用者、管理人员和推进负责人培训哪些内容
  • 在PoC中如何测量时间、质量、风险和费用
  • 正式推广后由谁负责运营、审计和改进
  • 由谁确认服务和公共指南的更新

全面禁止生成式AI并不能消除所有风险,完全放开使用也不会自动带来业务成果。企业真正需要建立的是一种可控状态:员工知道如何安全使用,组织能够掌握数据、质量、费用和责任边界。

从AI顾问的视角,我会检查业务与组织设计;从工程师的视角,我会检查数据流、权限、日志以及失败时的控制机制;从管理者的视角,则要判断这些设计是否真正服务于业务目标和投资决策。缺少其中任何一环,都很难实现可持续的企业级应用。

可以先把目标业务限定为一项,记录当前耗时、质量、输入数据和审核流程,再在获批环境中开展小规模验证,并把结果反馈到指南、培训和工具要求中。从小规模开始,不只是为了控制投入,更是为了用真实业务数据逐步明确企业自身所需的运营条件。

Q&A

生成式AI与传统AI有什么区别?

传统AI多用于分类、预测和检测等围绕既定目标进行判断的场景。生成式AI则能够根据输入指令生成文本、图像、音频和代码等内容。不过,生成式AI本身也是AI的一类,两者之间并不存在绝对边界。企业通常会优先考虑把生成式AI用于起草、总结、信息整理和检索辅助等工作。

引入生成式AI时,首先应该从哪里开始?

首先明确目标业务、使用人员、处理的数据和输出审核负责人这4点。接着记录当前业务耗时和质量,梳理使用规则、培训要求和所需的管理功能。定义这些条件后再比较工具,并通过范围受限的PoC验证效果、质量、风险、运营负担和费用。

是否需要面向全体员工开展生成式AI培训?

全体员工未必需要接受相同的操作培训。不过,如果公司使用生成式AI,建议向包括不直接使用者在内的全体员工说明禁止输入的信息、获批工具、事实错误风险和咨询渠道等通用要求。实际操作、提示词和输出审核培训应面向使用人员设计,投资判断和责任分工则应面向管理人员与管理层设计。

是否应禁止使用个人账号操作生成式AI?

在业务中使用个人账号,会使公司难以管理输入数据、合同条件、日志、离职时的数据和问题发生后的调查。是否全面禁止取决于企业方针和使用环境,但一种可行的方法是:业务中原则上使用公司批准的账号,并明确可用服务、禁止输入的信息、例外申请和可安全试用的环境。

生成式AI的PoC应采用哪些KPI?

除使用次数外,还应综合评估端到端耗时、修改时间、必填项目完整性、事实错误、审核工时、持续使用率、咨询数量、安全事件和运营费用。应记录PoC前的基准值,并预先确定正式上线、重新验证和停止的判断条件。