AI 的回答太自然了,我甚至不知道该从哪里开始怀疑。
在帮助企业落地生成式 AI 的过程中,笔者多次听到类似的困惑。这正是一家企业开始使用生成式 AI 后,销售策划人员、信息系统部门、法务部门和数字化转型推进团队共同面对的问题。过去,把邮件草稿、会议纪要摘要和调研初稿交给 AI,确实能加快工作速度;但 AI 有时也会煞有介事地输出并不存在的制度名称或未经核实的数据。业务一线认为“方便,但让人害怕”,信息系统部门觉得“很难确定应该放开到什么程度”,法务部门则担心“对外文件中可能混入错误信息”。
笔者从参与产品开发的工程师时期开始,就持续接触销售、营销、经营管理和业务改善等不同工作场景。基于这些经验,可以明确的是:AI 的错误回答并不是“只有懂技术的人才需要注意的问题”。相反,一线人员刚开始在日常工作中使用 AI 时,往往最容易遇到这个问题。
如今,越来越多企业不再把 AI 回答当作正确答案,而是将其用于起草、摘要和梳理要点,再由人工核对来源、数字和专有名词。本文将梳理什么是 AI 幻觉、AI 为什么会给出错误回答、业务中容易发生幻觉的场景及应对措施。目标不是停止使用 AI,而是在承认 AI 可能出错的前提下安全使用。不过,仅靠检查清单并不能消除风险,还需要结合内部规则、培训和定期复盘一并考虑。
什么是 AI 幻觉?
AI 幻觉是指生成式 AI 将不符合事实的内容当作正确信息输出的现象。
例如,以下情况都属于 AI 幻觉。
- 把并不存在的内部制度描述成真实制度
- 把并未参考的资料名称或 URL 列为来源
- 把未经核实的数字写成具体业绩
- 用一般性知识补充合同或规章中没有的内容
- 在会议纪要中加入会议上并未讨论的决定事项
棘手之处在于,幻觉并不一定表现为“明显不对的回答”。相反,它在语言上可能自然、礼貌,看起来也有逻辑。笔者在业务现场核查时,也遇到过仅阅读 AI 回答无法发现问题,回到原始资料后才确认“这个制度名称不存在”“资料里并没有这个数字”的情况。
生成式 AI 的回答并不是对搜索结果或内部数据库内容的直接引用。它会根据输入的指令和上下文生成看起来自然的回答。因此,即使信息不足,它也可能不说“不知道”,而是自行补足缺失的前提后作答。
在业务中使用生成式 AI,必须从“AI 可能出错”这一前提出发。这并不是为了否定 AI,反而是企业长期使用 AI 所必需的安全机制。
AI 为什么会给出错误回答
生成式 AI 给出错误回答有多种原因。了解这些原因,有助于企业不过度恐惧幻觉,并更容易判断应该重点防范哪些问题。
试图回答未学习过的信息
对于不了解或缺少判断依据的问题,AI 有时仍会试图组织出一个答案。
例如,用户询问“请介绍一下本公司的育儿假制度”。即使 AI 没有参考内部规章,也可能根据一般性的制度说明作答。对读者来说,回答看起来很自然,但不一定符合该公司的规定。
提出这类问题时,需要明确区分:是想向 AI 询问一般情况,还是要求它依据内部规章回答。在 AI 落地初期,这一区别往往不够清晰。笔者会在首次培训中专门强调这一点,因为人们刚感受到便利时,更容易相信 AI 的回答。
问题含糊时,AI 会自行补充前提
“把这些内容整理得好一点”“请告诉我有哪些风险”“请改成可以发给客户的文字”。这类要求虽然方便,但对 AI 而言有很大的解释空间。目标读者是谁、以哪些资料为前提、可以断言到什么程度都不明确,AI 因而可能自行补充前提。
应对幻觉时,提示词的写法也很重要。明确目的、目标读者、前提信息、输出格式和限制条件,有助于减少不必要的补充。
根据笔者的观察,AI 应用落地顺利的企业,往往不会把提示词仅仅视为“个人技巧”,而是将其作为“业务设计的一部分”。他们会在团队中共享提问方式,让不同人员使用时也能保持相对稳定的质量,而不是只依赖少数善于提问的人。
有时不擅长处理最新信息和企业内部特有信息
AI 有时不擅长处理最新法规变化、近期市场数据、仅在企业内部使用的制度名称,以及各部门的具体操作规则。
以下信息尤其需要注意。
- 最新法律法规
- 竞争对手的最新动态
- 本企业独有的定价体系
- 内部规章和审批流程
- 不同客户的合同条件
- 尚未公开的活动信息
这些内容不能完全交给 AI,必须回到原始资料或一手信息进行核实。
在某些场景中,AI 生成文字的速度远超人工。但它是否知道企业当前有效的规则、是否理解与客户签订的具体合同、是否符合最新审批流程,则是另一回事。正因为生成速度快,更需要有意识地设置核查节点。
有时会编造看似真实的出处
要求 AI“附上出处”时,它可能会按出处的形式回答,但这些出处不一定真实存在。
例如,AI 可能列出并不存在的资料名称、页码或无法访问的 URL。有出处并不等于内容正确,还需要确认出处确实存在,并且与回答内容一致。
这一点在实际工作中很容易被忽视,因为资料名称或 URL 会让内容显得更可信。笔者建议,看到 AI 给出的出处时,更要先停下来确认“这个出处是否真的存在”。
业务中容易出现 AI 幻觉的场景
幻觉并不会在所有业务中造成同等程度的问题。尤其需要注意的是,错误信息可能影响企业内外决策或客户沟通的场景。
内部规章与制度咨询
人力资源、行政、财务和信息系统部门,常会考虑使用 AI 回答员工咨询。
例如,员工可能提出以下问题。
- 这笔交通费可以报销吗
- 兼职申请应向哪个部门报备或审批
- 育儿假的申请期限是什么时候
- 离职时需要归还哪些物品
这些问题乍看很适合使用 AI。实际上,整理内部规章和 FAQ,让员工能够自行查询,也是很有价值的 AI 应用方向。
但如果 AI 的回答没有依据内部规章,就可能引导员工采取错误行动。例如,某项手续原本需要事先申请,AI 却回答“事后申请也没有问题”,便会造成工作现场的混乱。
对于内部规章相关问题,重要的是不要让 AI 依据一般情况作答。企业需要加入“规章中没有依据时回答不知道”“注明规章名称或条款”等限制条件。
合同与法务核查的初步审阅
企业也开始使用 AI 对合同进行初步审阅。用它检查条款遗漏、梳理问题点,会有一定帮助。
不过,把 AI 输出直接当作法律判断是危险的。
合同中的含义可能因部分措辞或上下文而变化,也会受到与交易对方以往谈判过程及企业内部风险容忍度的影响。即使 AI 输出“没有问题”,也不代表这是最终判断。
在合同和规章相关的 AI 应用中,笔者始终把 AI 定位为“帮助发现问题的辅助者”,而不是“判断者”。涉及法务的输出,必须以专业部门、法律顾问等人员的核查为前提。
市场调研、竞品调研与数据引用
市场营销和销售策划人员有时会使用 AI 制作市场调研或竞品比较的初稿。
在这个场景中,幻觉尤其难以识别,因为 AI 的回答很容易包含“看似可信的市场规模”“看似可信的增长率”和“看似可信的竞品比较”。
以下是一个假设示例。
截至 2025 年,国内 XX 市场规模约为 1,000 亿元人民币,并以每年 10% 的速度增长。
这段话看似可信,但如果没有出处、调查年份、目标市场定义和统计范围,就不应在业务中使用。
使用 AI 开展市场调研时,与其相信它给出的数字,不如用它梳理“需要调查的问题”“应核实的信息来源”和“比较维度”。笔者在开始调研时,也经常不让 AI 直接给“答案”,而是先让它整理“调研地图”。
会议纪要摘要与商务洽谈记录整理
AI 摘要有助于整理会议和商务洽谈内容。将会议录音、会议记录和资料按指定格式摘要,可以减轻制作会议纪要和共享信息的负担。
另一方面,使用 AI 整理会议纪要和洽谈记录时,需要注意以下错误。
- 把尚未决定的内容写成“决定事项”
- 为负责人尚未确定的任务指定人员
- 把讨论中的假设总结成已经确定的方针
- 按企业内部视角过度改写客户发言
AI 摘要有助于缩短会后的核对时间。但在作为最终会议纪要共享之前,仍需由人工对照录音、记录和参会者的理解进行核实。
会议并不是简单罗列发言。谁以什么态度发言、达成了何种程度的共识、哪些问题被搁置,都需要结合上下文理解,而这在很大程度上仍是人的工作。
客户邮件、提案书与 FAQ 回答
在发送给客户的文字中,AI 的错误回答可能直接导致信任下降。
尤其要注意以下表达。
- 一定可以改善
- 全部可以支持
- 比其他公司更优秀
- 可在〇天内完成
- 法律上没有问题
在没有完成事实核查和内部审批的情况下,不应使用这类断言。
AI 生成的文字适合作为草稿。但在发送给客户前,必须核对数字、条件、合同内容以及可以承诺的范围。
笔者在支持销售和营销工作时,也会避免让 AI 使用过强的断言。富有吸引力的文案和过度承诺往往只有一线之隔。尤其在 B2B 业务中,信任通常比短期宣传效果更重要。
不要以彻底消除 AI 错误回答为目标
应对幻觉时,关键并不是设法彻底消除 AI 的错误回答。
当然,减少错误回答的措施是必要的。但只要在业务中使用 AI,就应以“AI 可能出错”为前提设计操作流程,这样更现实。
笔者在提供 AI 落地咨询时,不会只讨论“怎样才能让 AI 绝对不出错”,而会与企业共同思考“怎样设计流程,才能在 AI 出错时不演变为业务事故”。这与系统开发的思路相近:不是假设系统没有缺陷,而是把检测、审阅、权限、日志和恢复流程一并纳入设计。生成式 AI 的业务应用也需要类似的态度。
不要把 AI 当作“提供正确答案的工具”
AI 不是保证答案正确的工具,尤其不适合承担事实核查、法律判断、最终决策或对客户作出承诺。
另一方面,它适合以下用途。
- 起草文字
- 摘要会议纪要和资料
- 梳理要点
- 构思创意
- 制作比较表初稿
- 列出检查角度
- 制作提示词和模板
也就是说,把 AI 用于搭建“思考前的基础”会更有效。
事实核查、最终判断和涉及关系的沟通由人负责,起草、摘要、整理格式和搭建调研起点则交给 AI。明确这种分工,有助于兼顾速度与安全性。
区分低风险业务和高风险业务
如果对所有 AI 使用场景采用同一套严格规则,一线人员会觉得难以使用;但如果完全放开,风险又会上升。
因此,首先按风险对业务分类会更有效。
| 类别 | 业务示例 | AI 使用原则 |
|---|---|---|
| 低风险 | 个人笔记、内部文字草稿、创意构思 | 相对容易使用,但仍需注意机密信息 |
| 中风险 | 会议纪要、内部 FAQ、销售资料草稿 | 以人工核查为前提使用 |
| 高风险 | 合同、法务、个人信息、对客户的正式答复 | 必须由专业部门核查 |
| 禁止或需谨慎的领域 | 敏感信息、未公开财务信息、客户的高度机密信息 | 原则上不输入 |
这样分类后,一线人员面对的就不再是“一律禁止”,而能更容易判断“可以使用到什么程度”。
有些企业推进 AI 落地时,容易陷入“因为危险,所以不用”或“因为方便,所以自由使用”的二选一。笔者认为,设计介于两者之间的现实操作方式非常重要。
把“人工核查”纳入业务流程
如果 AI 输出的核查完全依赖负责人的注意力,这套机制很难持续。
关键是把核查节点嵌入业务流程。
例如,面向客户的资料可以采用以下流程。
- 负责人使用 AI 制作结构草案
- 负责人核对数字、专有名词和案例
- 上级核查措辞和承诺范围
- 必要时由法务或信息系统部门核查
- 提交给客户
将 AI 使用纳入现有审阅流程,有助于在不过度牺牲一线工作速度的情况下控制风险。
仅仅写下“由人工核查”还不能形成操作机制。由谁、在什么时间、核查什么内容,都确定下来之后,AI 应用才能真正落地。
应对 AI 幻觉的基本措施
下面梳理可在实际工作中采用的措施。
明确说明目的、前提和输出格式
给 AI 的指令越含糊,出现错误回答的空间就越大。
以下是不理想的提问方式。
把这份资料整理得好一点。
可以改为以下写法。
请对以下资料进行摘要,用于公司内部销售会议共享。
# 目的
帮助销售人员判断下一步行动
# 输出格式
- 要点:不超过 5 项
- 决定事项:使用项目符号列出
- 未确定事项:明确标注“待确认”
- 数字、日期和专有名词只能使用原文中出现的内容
# 注意事项
请勿补充资料中没有的信息。
不仅要告诉 AI“希望它做什么”,也要明确说明“不能做什么”。
笔者建议,不要把生成式 AI 的提示词仅视为“请求”,而应把它当作接近“业务任务书”的内容。一份好的任务书会写明目的、前提、交付成果、限制条件和核查要点,给 AI 的指令也是如此。
信息不确定时,要求 AI 回答“待确认”
AI 有时会试图回答自己不了解的问题。因此,应提前指定“信息不确定时写明待确认”。
示例:
对于内部规章中没有明确规定的内容,请勿推测作答,并写明“规章中没有相关依据,需要确认”。
仅加入这一句话,也有助于降低 AI 勉强作出断言的风险。
尤其在内部 FAQ、规章核查和客户答复中,让 AI 在不知道时能够说“不知道”非常重要。这并不是降低 AI 的能力,而是提高业务可靠性。
数字、日期和专有名词要回到一手信息核实
幻觉最容易在业务中造成问题的内容,是数字、日期和专有名词。
需要核查的项目如下。
- 金额
- 比例
- 人数
- 日期
- 公司名称
- 部门名称
- 负责人姓名
- 产品名称
- 合同条件
- 法律法规名称
- 资料名称
AI 输出的数字和专有名词必须回到一手信息核实。如果无法确认原始出处,应删除该信息或明确标注“待确认”。
数字能增强文章的说服力,也因此可能更加危险。没有依据的数字,有时还不如不写。笔者在审阅资料时,看到数字首先会问:“这个数字来自哪里?”
确认一手信息是否存在
要求 AI 提供一手信息很有帮助,但仅仅列出出处还不够。
需要核查以下三点。
- 该一手信息是否真实存在
- 一手信息的内容是否与 AI 摘要一致
- 该一手信息目前是否仍然有效
如果是内部资料,还需要确认是否为最新版本。AI 若依据旧版规章或过去的提案书回答,内容可能与现行操作不一致。
让 AI 附上出处,可以作为核查工作的入口。但列出出处并不意味着核查结束,人工核查恰恰从这里开始。
对外提交前由人工审阅
对外发布或提交的文字必须由人工核查。
即使是 AI 生成的草稿,在提交给客户或交易对方时,也必须由人负责确认。审阅应关注以下方面。
- 事实和推测是否混在一起
- 数字和专有名词是否正确
- 是否属于可以向客户承诺的内容
- 是否存在过度断言
- 是否符合企业自身的表达风格
- 是否包含需要法务、信息系统部门或上级确认的内容
即使文字由 AI 生成,提交责任仍由人承担。无论 AI 如何发展,这一点都不会轻易改变。
高风险领域由专业部门核查
以下领域不应直接采用 AI 输出。
- 法律
- 合同
- 税务
- 劳动人事
- 信息安全
- 个人信息
- 医疗与健康
- 金融判断
- 对客户的正式答复
这些领域可以使用 AI“梳理问题”或“列出检查项目”,但最终判断必须由专业部门或负责人作出。
笔者在协助企业推进 AI 应用时,既重视“扩大 AI 可用范围”,也同样重视“明确不能只依靠 AI 判断的领域”。划定不用 AI 单独判断的界线,并不代表对 AI 应用消极;恰恰相反,这是组织认真使用 AI 的前提。
AI 输出检查清单
收到 AI 回答后,可按照以下清单进行核查。
事实核查
- 数字是否注明出处、期间、单位和样本基数
- 专有名词是否正确
- 日期是否正确
- 引用来源是否真实存在
- 参考资料是否为最新版本
- AI 是否补充了资料中没有的信息
表达核查
- 是否过度断言
- 是否出现“一定”“绝对”“完全”等表述
- 是否属于可以向客户作出的承诺
- 是否符合内部表达风格
- 是否会让读者产生误解
风险核查
- 是否包含个人信息或机密信息
- 是否包含需要法务核查的内容
- 是否存在信息安全隐患
- 是否与合同条件矛盾
- 是否会损害客户或员工利益
判断核查
- 是否直接采用了 AI 给出的结论
- 是否把本应由人判断的部分也交给了 AI
- 是否已向必要的相关人员确认
- 是否仍有标注“待确认”的内容未处理
请根据部门和业务调整这份检查清单。重点不是每次从零开始核查,而是在企业内部形成共同的核查视角。
根据笔者的经验,AI 应用落地良好的企业,会把检查清单视为“保护一线人员的工具”,而不是“为了审计而填写的文件”。制定清单不是为了束缚使用者,而是为了扩大能够放心使用 AI 的范围。这一思路非常重要。
企业内部应明确的生成式 AI 使用规则
仅靠个人注意,无法充分应对 AI 幻觉。组织使用 AI 时,必须制定最低限度的规则。
区分可以输入和不得输入的信息
首先要确定可以向 AI 输入哪些信息。
例如,可以按以下方式分类。
| 信息类别 | 示例 | 处理方式 |
|---|---|---|
| 公开信息 | 官方网站、公开资料、新闻稿 | 相对容易使用 |
| 内部一般信息 | 操作手册、内部 FAQ、培训资料 | 按照内部规则使用 |
| 客户信息 | 洽谈记录、合同条件、提案书 | 确认合同、权限和脱敏处理 |
| 个人信息 | 姓名、地址、联系方式、员工编号 | 原则上进行脱敏处理 |
| 敏感信息 | 健康信息、银行账户信息、未公开财务信息等 | 原则上不输入 |
特别是个人信息、敏感信息和未公开财务信息,应根据企业内部规则、合同约定和适用法律,采取不输入、脱敏或限制访问等措施。中国《生成式人工智能服务管理暂行办法》要求尊重知识产权、商业秘密、隐私权和个人信息权益,并提出提高生成内容准确性和可靠性的要求。
确定审阅负责人
企业还需要确定由谁核查 AI 输出。
例如,可以采用以下分工。
| 输出内容 | 主要审阅人员 |
|---|---|
| 内部使用的文字 | 制作人、上级 |
| 客户邮件 | 制作人、上级,必要时由销售负责人审阅 |
| 合同与规章相关文字 | 法务、人力资源、行政等专业部门 |
| 信息安全相关文字 | 信息系统部门、信息安全负责人 |
| 网站文章与广告文案 | 营销负责人,需要法务核查时由法务审阅 |
如果没有事先确定审阅人员,内容就可能在无人核查的情况下对外发布。
在实际操作中,“应该会有人看”就等同于无人查看。预先确定核查人员,不是为了推卸责任,而是为了让员工能够放心使用 AI。
不要原样转用 AI 回答
在内部规则中明确写入“不得原样转用 AI 回答”也很有效。
尤其是以下输出,直接使用并不安全。
- 面向客户的答复
- 合同批注
- 法务与劳动人事相关说明
- 包含数字的市场调研
- 面向管理层的资料
- 发送给应聘者的通知
- 新闻稿和广告表述
应把 AI 输出作为草稿,由人工核查内容,改写成符合本企业实际情况的文字后再使用。
笔者认为,这个过程有点像烹饪。AI 可以加快备料,但调味以及判断这道菜适合提供给谁,仍然由人负责。省略这一步,便利就可能直接转化为风险。
定期复盘
企业内部使用 AI 的方式会逐渐变化,最初制定的规则不一定在半年后仍然最合适。
建议每月一次或每季度一次复盘以下内容。
- 常用的 AI 应用场景
- 曾发生错误回答的案例
- 一线人员的不安和疑问
- 允许输入的信息范围
- 审阅流程
- 提示词和模板
- 培训内容
应对幻觉不是制定一次规则就结束,而要在使用过程中持续改善。这与产品开发和业务改善相同。与其一开始就追求完美机制,不如从小处着手,根据一线实际使用情况逐步调整,这样更容易落地。
使用 Kanata 时需要注意的事项
企业在业务中使用生成式 AI,有通用聊天工具、内部 AI 平台、协同办公软件集成和知识检索工具等多种选择。无论选择哪一种,重要的是先确定“用于哪些业务”“处理哪些信息”以及“由谁核查”。
在此基础上,Kanata 是一个业务支持平台,可将 AI 对话、AI 摘要和在线学习等功能集中在一个平台中,并按项目整理用户、数据和应用。它可用于向 AI 提问与咨询、文字撰写、创意构思、调研、会议录音和会议记录摘要,以及基于视频分发学习内容等。
例如,按部门划分项目,把常用指令保存为提示词,并将内部资料整理为学习数据,就更容易避免 AI 应用过度依赖个人使用方式。尤其是在会议纪要摘要、内部 FAQ、培训内容和销售资料初稿等需要业务流程与核查流程配套建设的场景中,Kanata 的特点更容易发挥作用。
不过,使用 Kanata 并不意味着可以彻底消除幻觉。
AI 对话和 AI 摘要有助于起草、整理信息和梳理要点,但是否在业务中采用输出内容,仍需由人判断。特别是涉及对外文件、数字、引用、规章、合同、法务和信息安全时,不能直接采用 AI 输出。
笔者在支持企业落地 AI 时,也不会止步于工具选型。用于哪些业务、由谁核查、可以输入哪些信息、怎样重复利用输出,都完成设计后,AI 才能持续在一线工作中使用。
可直接使用的 AI 幻觉应对提示词
下面介绍便于直接在业务中使用的提示词示例。请根据企业内部规章和核查流程进行调整。
希望防止错误回答时
请回答以下问题。
# 重要规则
- 对不确定的内容不要推测补充,请写明“未知”或“待确认”
- 请勿添加资料中没有的信息
- 数字、日期和专有名词只能使用输入文字中出现的内容
- 请区分事实与推测
# 问题
{问题内容}
希望 AI 依据内部规章回答时
你是一名依据内部规章回答问题的助手。
# 回答规则
- 只回答规章中明确写明的内容
- 注明作为依据的规章名称、章节和条款
- 规章中没有依据时,请写明“无法确认规章依据,需要向负责部门确认”
- 不要用一般性知识补充
# 问题
{员工提出的问题}
希望制作市场调研初稿时
请围绕以下主题制作调研初稿。
# 主题
{调研主题}
# 希望输出的内容
1. 需要核查的问题
2. 应优先查阅的一手信息来源候选
3. 调研时需要注意的定义
4. 核查数字时所需的前提
5. 目前不能作出断言的事项
# 注意
请勿对具体市场规模或增长率作出断言。
需要数字的地方请写明“需要出处”。
希望减少会议纪要摘要中的错误时
请将以下会议记录整理为用于公司内部共享的会议纪要。
# 输出格式
- 会议目的
- 决定事项
- 未决定事项
- 待办事项
- 下次需要确认的事项
# 注意
- 请勿添加记录中没有的决定事项
- 负责人未确定的待办事项请写明“负责人未定”
- 不确定的内容请明确标注“待确认”
- 请勿武断判断发言意图
# 会议记录
{会议记录}
希望审阅对外文件时
请从对外提交前的审阅角度检查以下文字。
# 检查角度
1. 事实和推测是否混在一起
2. 数字、日期和专有名词中是否有需要确认之处
3. 是否存在过度断言
4. 是否有看起来像在向客户作出承诺的表述
5. 是否有需要法务、信息系统部门或上级确认之处
# 输出格式
请用表格分为以下三类:
- 没有问题
- 需要修改
- 需要确认
# 文字
{需要审阅的文字}
总结:以 AI 可能出错为前提设计使用方式
AI 幻觉是指生成式 AI 煞有介事地输出与事实不符内容的现象。
业务中的问题不仅在于 AI 本身会出错,更在于使用者没有发现错误,便将其用于对外文件、内部规章、合同、数据资料和客户沟通。
因此,要安全使用生成式 AI,以下原则不可或缺。
- 不要把 AI 当作提供正确答案的工具
- 将 AI 用于起草、摘要和梳理要点
- 回到原始资料核对数字、日期和专有名词
- 确认出处是否真实存在
- 对外提交前由人工审阅
- 高风险领域由专业部门核查
- 定期复盘内部规则和培训
AI 应用并不是“禁止使用”或“自由使用”的二选一。以 AI 可能出错为前提,明确由人工核查的节点,就更容易兼顾一线工作的速度与安全性。
笔者认为,与其把 AI 当作“万能的回答者”,企业更适合把它视为“能力出色、但需要核查的协作者”。让 AI 减轻人的工作负担,但不能放弃应由人负责的判断。划清这条界线,应当会成为今后 AI 应用中的重要实务技能。
Q&A:关于 AI 幻觉和错误回答对策的常见问题
什么是 AI 幻觉?
AI 幻觉是指生成式 AI 将不符合事实的内容以看似可信的文字输出的现象。它可能用自然的表达列出并不存在的制度、未经核实的数字或不存在的出处。
能彻底防止 AI 给出错误回答吗?
以彻底防止错误回答为前提设计操作流程并不现实。重要的是承认错误回答可能发生,并设计出处核查、审阅、输入规则和专业部门核查流程。
在业务中使用 AI 时,尤其需要确认哪些项目?
必须核查数字、日期、专有名词、出处、合同条件、内部规章以及对客户作出承诺的表述。这些内容一旦出错,容易影响企业内外的判断和信任。
要求 AI“附上出处”就安全吗?
让 AI 附上出处很有帮助,但仅凭这一点并不能保证安全。仍需由人工确认出处是否真实存在、是否与内容一致,以及是否为最新版本。
使用 Kanata 能消除 AI 幻觉吗?
Kanata 是一个提供 AI 对话、AI 摘要、在线学习以及按项目整理信息等支持的业务平台,但只要使用 AI,就仍然需要核查输出。应对幻觉时,除工具功能外,人工审阅和内部规则的设计也很重要。