「結局、AIによって何が改善したのかを、部門別に説明できないんです」
従業員約1,200人のBtoB企業でDX推進を担当する経営企画部の佐伯さん(仮名)は、月次の投資対効果会議でこう話しました。
営業部からは「提案準備が早くなった」、人事部からは「問い合わせ対応の負担が減った」という声が上がり、情報システム部には利用ログも蓄積されていました。しかし、半年前の時点では、成果の多くが利用者の感想や利用回数で語られており、AI投資の継続可否や次年度予算を判断する材料としては十分ではありませんでした。
そこで同社は、AIチャットやAI要約などを部門ごとの対象業務にひも付け、営業部門では提案書の初稿作成時間、人事部門では問い合わせの一次回答率、管理部門では確認作業に要する時間などをKPIとして設定しました。
社内集計によると、2026年1月から3月までの3か月間に営業企画部が作成した提案書初稿を比較したところ、平均作成時間は90分から45分に短縮されました。ただし、この結果を評価するには、対象件数や案件の難易度、計測方法、レビュー・修正時間を含むかどうかも確認する必要があります。
この記事では、AI活用の成果測定に悩むDX推進担当者、経営企画担当者、部門責任者に向けて、部門別KPIの設計方法を解説します。効率、品質、利用定着、事業貢献、リスクを組み合わせ、定性的な「便利だった」という評価から、継続投資の判断に使える評価へ移行することが目的です。
AI活用の成果を説明しにくい理由
生成AIを導入した企業では、利用者から肯定的な反応が得られていても、経営会議で成果を説明できないことがあります。
現場では、メールの下書き、議事録の作成、資料のリライト、問い合わせ対応、商談メモの整理など、さまざまな業務にAIを利用できます。一方、経営会議や部門評価では、次のような問いに答えなければなりません。
- どの部門、どの業務で成果が出ているのか
- 作業時間や処理件数はどの程度変化したのか
- 成果物や回答の品質は改善したのか
- 売上、顧客対応、従業員体験にどの程度寄与したのか
- リスクを管理しながら投資を継続できるのか
これらの問いに、「AIを何回使ったか」というデータだけで答えることはできません。利用回数は定着状況を把握する先行指標にはなりますが、業務成果そのものを示す指標ではないためです。
たとえば、営業担当者がAIチャットを月100回使っていても、それだけでは提案品質が向上したのか、望ましい回答を得るまでの試行回数が増えただけなのかを判別できません。人事部門でAI要約の利用回数が増えていても、問い合わせ対応時間や再問い合わせ率、回答の正確性が改善したかどうかは、別の指標で確認する必要があります。
AI活用の成果を測る際は、少なくとも次の三つを分けて考えます。
- 利用状況
- 誰が、どの業務で、どの程度使ったか。
- 業務成果
- 時間、処理量、品質がどう変化したか。
- 事業・組織への影響
- 売上、顧客体験、従業員体験、リスクにどう影響したか。
OECDの生成AIと生産性に関する研究レビューでは、生成AIによる生産性への影響は一様ではなく、業務の種類、利用者の能力、導入方法などによって異なると指摘されています。
そのため、全社の利用回数だけを見るのではなく、具体的な業務単位で成果を測定する必要があります。
部門別KPIを設計する前に決めること
部門別KPIを設計するときは、最初から指標一覧を作るのではなく、対象業務、ベースライン、評価時期を先に決めます。
対象業務を具体的にする
まず、AIを利用する業務の範囲を明確にします。
「営業部でAIを使う」という設定では範囲が広すぎます。営業部の中にも、商談準備、顧客調査、提案書作成、商談メモ整理、フォローメール作成など、性質の異なる業務があるためです。
たとえば、次のように業務単位まで具体化します。
- 営業部門:提案書の初稿作成
- マーケティング部門:記事構成案の作成
- 人事部門:社内問い合わせへの一次回答案の作成
- 経理部門:月次処理に関する確認事項の整理
- 情報システム部門:ヘルプデスク問い合わせの分類
対象業務が曖昧なままでは、利用ログの範囲、測定対象、成果の定義も曖昧になります。
国際労働機関(ILO)の「Generative AI and Jobs: A 2025 Update」も、生成AIの影響を職業全体ではなく、職業を構成する個別のタスク単位で分析しています。
企業がKPIを設計する場合も、「どの部門で使ったか」だけでなく、「どの業務の、どの工程で使ったか」まで定義したほうが、成果を比較しやすくなります。
導入前のベースラインを設定する
次に、AI導入前の状態を測ります。この導入前の基準値をベースラインと呼びます。
提案書作成にAIを利用する場合は、導入前の平均作成時間やレビュー回数を把握します。問い合わせ対応に利用する場合は、一次回答までの時間、処理件数、再問い合わせ率などを確認します。
ベースラインの候補には、次のようなものがあります。
- 1件当たりの作業時間
- 月間処理件数
- レビュー回数
- 手戻り・差し戻し件数
- 問い合わせへの一次回答時間
- 再問い合わせ率
- 顧客または従業員の満足度
- 担当者が自己申告した負荷感
必ずしも、最初から全件のデータをそろえる必要はありません。1~2週間のサンプルから始めることもできますが、その場合は対象者数、対象件数、測定時期、業務の繁閑などを記録します。
通常期の営業担当者5人が作成した提案書30件を対象に、着手から初稿完成までの時間を計測した。
このように定義すれば、導入後も同じ条件で比較しやすくなります。
先行指標と遅行指標を分ける
AI活用のKPIでは、先行指標と遅行指標を分けて設計します。
- 先行指標
- 最終的な成果が表れる前に変化する指標です。利用者率、対象業務での利用率、テンプレート利用率、研修受講率などが該当します。
- 遅行指標
- 業務や事業の結果に近い指標です。作業時間、手戻り率、一次解決率、商談化率、満足度などが挙げられます。
導入直後から売上やROIだけを評価すると、成果が見えにくくなる場合があります。運用段階に応じて、次のように評価対象を変える方法があります。
| 時期 | 主な評価対象 |
|---|---|
| 導入直後 | 利用環境、研修状況、レビュー体制 |
| 導入後1~3か月 | 作業時間、処理件数、品質 |
| 四半期または半年単位 | 事業貢献、リスク、投資対効果 |
この期間はあくまで目安です。月に数件しか発生しない業務や、繁忙期と閑散期の差が大きい業務では、より長い測定期間が必要です。
業務AIの評価指標を五つに分類する
部門別KPIを設計する際は、評価指標を「効率」「品質」「利用定着」「事業貢献」「リスク」の五つに分けると、利用回数や時間削減だけに偏りにくくなります。
効率指標
効率指標は、AIの利用前後で作業時間や処理速度がどう変化したかを見る指標です。
- 1件当たりの作業時間
- 初稿作成までの時間
- 問い合わせへの一次回答時間
- 一定期間内の処理件数
- 会議終了から議事録共有までの時間
- 資料作成のリードタイム
時間削減は比較的測りやすく、AI投資の説明にも使いやすい指標です。ただし、AIによる初稿作成が早くなっても、確認や修正に時間がかかれば、業務全体が効率化したとは限りません。
「初稿作成時間」と「レビュー・修正を含む完了時間」は分けて測定することが重要です。
英国AI Security Instituteの職場タスクに関する研究でも、AIによる生産性向上を評価する際は、単なる処理速度だけでなく、成果物の品質を含めて測定しています。
品質指標
品質指標は、AIを利用した成果物や回答の質がどう変わったかを見る指標です。
- レビュー時の指摘数
- 手戻り率
- 誤回答率
- 情報の抜け漏れ件数
- 顧客または従業員からの再質問率
- 社内確認での差し戻し件数
- 必須項目の充足率
- 根拠や出典を確認できた回答の割合
たとえば、議事録の作成時間が30分から5分に短縮されても、決定事項、担当者、期限が抜けていれば、業務成果が改善したとは言い切れません。
効率指標と品質指標は、原則として組み合わせて評価します。
利用定着指標
利用定着指標は、対象者が定められた業務でAIを継続的に利用できているかを見る指標です。
- 月間アクティブユーザー数
- 対象者に占める利用者の割合
- 継続利用率
- 対象業務におけるAI利用率
- 承認済みテンプレートの利用率
- 研修受講率
- AI出力に対するレビュー実施率
単純な利用回数は、成果ではなく定着の兆候として扱います。利用回数が多いほど成果が大きいとは限らず、同じ作業を完了するまでの試行回数が増えている可能性もあるためです。
一方、利用率が低いからといって、直ちにツールに問題があるとも限りません。対象業務が曖昧、利用機会が少ない、研修が不足している、承認手順が複雑といった要因も考えられます。
事業貢献指標
事業貢献指標は、AIを含む業務改善が売上、顧客体験、従業員体験などにどのように関係したかを見る指標です。
- 提案書提出までのリードタイム
- 担当者1人当たりの提案件数
- 商談後のフォロー実施率
- 商談化率
- メール返信率
- コンテンツ公開本数
- リード獲得単価
- 顧客満足度
ただし、売上や商談化率は、市況、価格、営業担当者の経験、顧客予算、広告施策、競合状況など、複数の要因に左右されます。
そのため、「AIによって売上が増加した」と直接的に断定するのではなく、AI利用群と非利用群の比較、導入前後の比較、類似案件間の比較などを行います。それでも他の要因を十分に除外できない場合は、「AIを含む業務改善の実施後に改善が確認された」と表現するのが適切です。
リスク管理指標
AI活用では、効率や売上だけでなく、安全性や管理状況も測る必要があります。
- 事実と異なる出力が見つかった件数
- 人によるレビューを経ずに利用された件数
- 入力禁止情報や機密情報の入力件数
- 承認フローから逸脱した件数
- 出典を確認できない情報が利用された件数
- 社外提出前レビューの実施率
- インシデントの発生件数と重大度
- 問題発見から是正までの時間
リスク指標は、件数だけでなく重大度も分けて管理します。たとえば、社内メモの表記ミスと、顧客に送付した契約条件の誤記を同じ1件として扱うと、実態を正しく把握できません。
OECDの「Generative AI and the SME Workforce」では、生成AIの活用による業務上の効果が報告される一方、著作権、法的責任、規制対応などへの懸念も示されています。
したがって、成果測定では「どれだけ早くなったか」だけでなく、「許容できるリスクの範囲で利用できたか」も確認します。
部門別のAI KPI設計例
実際に採用するKPIは、部門名だけで決めるのではなく、対象業務とAIを利用する工程に応じて絞り込みます。
営業部門
営業部門では、「提案準備の効率」と「提案・フォローの品質」を分けて考えます。
- 提案書初稿の作成時間
- レビューと修正を含む提案書完成時間
- 顧客調査に要する時間
- 商談メモの整理時間
- 提案書1件当たりのレビュー指摘数
- 商談後のフォロー実施率
- 担当者1人当たりの提案件数
- 商談化率
測定結果を説明するときは、期間、対象、件数、集計方法を明示します。
2026年1月1日から3月31日まで、営業企画部が作成した提案書初稿30件を対象に、AI導入前後の作成時間を比較した。着手から初稿完成までの平均時間は、導入前の90分から導入後の45分に短縮された。レビューと修正の時間は含まない。
このように書けば、何を測定した数値なのかが分かります。
案件の難易度や提案書のページ数が大きく異なる場合は、単純平均だけでなく、中央値や案件区分別の数値も併記します。平均値だけでは、一部の極端に時間がかかった案件の影響を受ける可能性があるためです。
マーケティング部門
マーケティング部門では、「制作効率」「公開前後の品質」「事業成果」を分けて評価します。
- 記事構成案の作成時間
- ホワイトペーパー初稿の作成時間
- SNS投稿案の作成数
- コンテンツ公開本数
- レビュー差し戻し回数
- 編集完了までの総作業時間
- 公開後の訂正件数
- 検索流入数
- コンバージョン率
- リード獲得数・獲得単価
公開本数だけを追うと、内容の重複、事実誤認、ブランド表現の不統一などを見落とす可能性があります。
公開前の編集負荷や修正件数に加え、公開後の訂正件数、問い合わせへの寄与、商談への貢献なども確認します。ただし、検索流入やリード獲得数は、テーマ、広告、配信量、季節性などの影響も受けるため、AIのみの効果として扱わないことが重要です。
人事・総務部門
人事・総務部門では、社内問い合わせ対応、FAQ整備、研修資料作成などが主な対象になります。
- 社内問い合わせへの一次回答率
- 一次回答までの時間
- 担当者への引き継ぎ率
- FAQによる自己解決率
- 同じ質問の再発率
- 制度説明に関する誤回答件数
- 研修資料の作成時間
- 利用者満足度
- 担当者1人当たりの月間対応件数
「一次回答率」など、解釈が分かれる指標は計算方法を明確にします。
たとえば、一次回答率を「対象期間に受け付けた問い合わせのうち、追加の担当者対応を必要とせず、最初の回答で処理を完了できた件数の割合」と定義します。
対応時間が短くなっても、制度の誤案内や再問い合わせが増えていれば改善とは言えません。効率とともに、回答の正確性、分かりやすさ、再問い合わせ率を確認します。
経理・管理部門
経理・管理部門では、確認作業、月次処理、資料整理などの支援にAIを利用できます。
- 月次処理のリードタイム
- 確認事項の整理時間
- 社内問い合わせへの回答時間
- 差し戻し件数
- 入力ミス件数
- 必須確認項目の充足率
- 承認前チェックの実施率
- 例外案件の検出件数
経理や管理業務では、処理速度以上に正確性と承認責任が重要です。AIの利用範囲を「最終判断」ではなく、「確認事項の抽出」「論点の整理」「説明文の下書き」などに限定する方法もあります。
KPIも「AIで自動化した割合」だけではなく、「担当者が確認すべき論点を漏れなく、短時間で整理できたか」を測るほうが、業務の実態に合う場合があります。
情報システム部門
情報システム部門では、ヘルプデスク対応、問い合わせ分類、ナレッジ検索、FAQ作成などが主な対象です。
- 問い合わせの自動分類率
- 分類結果の正解率
- 一次回答までの時間
- 一次解決率
- FAQによる自己解決率
- 同種問い合わせの再発率
- エスカレーション率
- ナレッジ検索の成功率
- 古い情報を参照した回答の件数
「自動分類率」は、AIが分類結果を提示できた割合です。一方、「分類結果の正解率」は、その分類が人による確認結果と一致した割合です。
両者を区別しないと、AIが多くの問い合わせを分類していても、誤分類が増えている状況を見逃す可能性があります。
回答精度が低い場合、原因がAIモデルだけにあるとは限りません。参照元となる社内文書が古い、必要な情報が登録されていない、文書の管理責任者が決まっていないといった問題も考えられます。ナレッジの更新日や更新頻度もあわせて管理します。
AI ROIを説明するための考え方
AIの投資対効果を説明する際、「削減時間×人件費」だけで計算すると、実態とずれることがあります。
たとえば、月100件の議事録について、1件当たり25分短縮できた場合、計算上の削減時間は次のとおりです。
100件×25分=2,500分=約41.7時間
ただし、この41.7時間がそのまま人件費の削減になるとは限りません。
人員数、残業時間、外注費などを実際に削減していなければ、会計上のコスト削減ではなく、ほかの業務に再配分できる「創出時間」と考えるほうが適切です。
AIの効果は、次の三つの層に分けると説明しやすくなります。
作業削減効果
- 議事録作成時間が短くなった
- 提案書の初稿作成が早くなった
- 問い合わせ分類の時間が減った
- 調査開始から情報整理までの時間が短くなった
導入初期に比較的測りやすい効果です。ただし、レビューや修正を含む総作業時間も確認します。
品質改善効果
- 抜け漏れが減った
- レビュー指摘が減った
- 回答のばらつきが小さくなった
- 担当者による品質差が縮小した
- 過去のナレッジを再利用しやすくなった
品質改善は金額換算が難しい一方、手戻りや再作業の削減を通じて業務に影響します。
「品質が向上した」と評価する際は、レビュー指摘数、差し戻し率、再問い合わせ率など、具体的な指標を示す必要があります。
事業貢献効果
- 提案件数が増えた
- 商談後のフォローが早くなった
- コンテンツの公開本数が増えた
- 顧客への回答時間が短くなった
- 顧客または従業員の満足度が改善した
事業貢献を説明するときは、AIだけの効果として断定しません。
「AIを含む業務改善施策の実施後に改善が確認された」「同時期に営業体制の変更も行っており、AI単独の寄与は算定できない」など、評価の条件や限界も記載します。
KPI設計で陥りやすい失敗
利用回数だけを成果として扱う
月間利用回数が増えていても、作業時間、品質、現場負荷が改善していなければ、成果を説明するには不十分です。
利用回数は先行指標として扱い、効率指標や品質指標と組み合わせます。
最初から全社共通KPIだけで測る
AIに期待する役割は、部門や業務によって異なります。
営業部門では提案準備時間、人事部門では一次回答率、情報システム部門では一次解決率、管理部門では確認作業時間が重要になる場合があります。
まず業務単位のKPIを設計し、その後、投資額、利用者率、重大インシデント数など、全社で比較できる指標を選ぶ方法が現実的です。
根拠のない全社目標を置く
「全業務の30%をAI化する」「半年で全社の生産性を20%向上させる」といった目標は分かりやすい一方、対象業務や測定方法が定義されていなければ検証できません。
初期段階では、たとえば次のように対象を限定します。
- 営業部門の提案書初稿作成
- 商談メモの整理
- 社内問い合わせへの回答案作成
小さな単位で測定方法を確立した後に対象を広げるほうが、導入前後の結果を比較しやすくなります。
品質指標を置かない
時間短縮だけに注目すると、誤情報や手戻りの増加を見落とす可能性があります。
特に社外向け文書、契約、社内規程、顧客対応、財務情報などを扱う場合は、人によるレビュー、根拠確認、承認記録などをKPIに含めます。
測定のための作業を増やしすぎる
細かな指標を増やしすぎると、データ入力や集計そのものが現場の負担になります。
導入初期は、重要度の高い業務ごとに、次の三つ程度から始める方法があります。
- 効率指標:1件当たりの完了時間
- 品質指標:手戻り率または誤り率
- 定着・リスク指標:対象業務での利用率またはレビュー実施率
自動取得できるログと、利用者による手入力が必要なデータを分け、手入力項目は最小限にします。
Kanataを活用して部門別KPIを運用する
部門別KPIの運用には、汎用的な生成AIサービス、業務アプリケーションに組み込まれたAI機能、社内向けAI基盤など、複数の選択肢があります。
選定時には、回答性能だけでなく、次の点を確認する必要があります。
- 対象業務に必要な機能があるか
- 社内文書を適切に参照できるか
- 部門やプロジェクトごとに利用環境を分けられるか
- 権限管理や利用ログの確認ができるか
- 承認済みのプロンプトを共有できるか
- データの保存場所や利用目的を確認できるか
- 教育や定着支援を含めて運用できるか
弊社が提供するKanataは、AIチャットやAI要約に加え、プロンプトや参照情報を業務単位で管理し、eラーニングなどの教育機能と組み合わせられる点が特徴とされています。最新の提供機能や契約条件については、公式の製品資料で確認が必要です。
そのため、単発のAI利用だけでなく、「部門ごとに対象業務を定め、利用方法を標準化し、教育と成果測定を継続する」という運用を目指す企業では、選択肢の一つになります。
ただし、Kanataを導入すれば自動的に成果を測定できるわけではありません。取得できるログの種類、保存期間、部門別の集計単位、外部システムとの連携範囲は、契約内容や設定によって異なる可能性があります。
導入前に、測定したいKPIと取得可能なデータを照合しておくことが重要です。
部門ごとに対象業務を決める
最初は、各部門で一つか二つの業務に絞ります。
- 営業部門:提案書初稿、商談メモ整理
- マーケティング部門:記事構成案、SNS投稿案
- 人事部門:問い合わせ回答案、研修資料作成
- 情報システム部門:問い合わせ分類、FAQ作成
- 管理部門:確認事項整理、月次資料要約
「AIで何でも行う」のではなく、「誰が、いつ、何のために利用するか」を定義します。
プロンプトと参照情報を整える
次に、部門ごとに利用するプロンプトや参照情報を整備します。
たとえば、人事部門で問い合わせ回答案を作成する場合は、就業規則、FAQ、申請フロー、過去の問い合わせ事例などを整理します。営業部門では、提案書テンプレート、導入事例、製品仕様、承認済みの競合比較資料などが候補になります。
また、「学習データ」という言葉は、AIモデルそのものの訓練に利用するデータと、回答時に検索・参照する文書を混同しやすい表現です。製品がどのようにデータを利用するのかを確認し、必要に応じて「参照データ」「社内ナレッジ」などの名称を使い分けます。
導入初期は先行指標を確認する
導入初期は、次のような先行指標を月次で確認します。
- 対象者に占める利用者の割合
- 対象業務での利用率
- 承認済みテンプレートの利用率
- 研修受講率
- 人によるレビューの実施率
- 利用者から報告された問題
- 参照情報の更新件数
利用率が低い場合、AIの性能だけが原因とは限りません。対象業務が曖昧、操作方法が分からない、承認済みのプロンプトが使いにくい、参照情報が不足しているなど、複数の原因が考えられます。
原因を確認せずに利用回数だけを増やそうとすると、業務上の必要性が低い利用を促すおそれがあります。
十分な件数が集まったら遅行指標を確認する
運用開始後、比較に必要な件数が蓄積した段階で、次の遅行指標を確認します。
- 総作業時間は短くなったか
- 手戻りや誤りは増減したか
- 回答品質は安定したか
- 顧客・従業員への対応は早くなったか
- 提案件数やコンテンツ数は変化したか
- 現場の負荷感は変化したか
- リスク事象は発生していないか
四半期単位で確認すると、単月のばらつきを抑えやすくなります。ただし、案件数が少ない場合は、半年単位など、十分な件数を確保できる期間に変更します。
AI成果測定を定着させる運用サイクル
AI活用の成果測定は、一度KPIを設定して終わりではありません。対象業務、利用者の習熟度、AIの機能、社内規程が変化すれば、見るべき指標も変わります。
導入前に現状を測る
- 1件に何分かかっているか
- 一定期間に何件処理しているか
- どこで手戻りが起きているか
- 誰に負荷が集中しているか
- どの情報を探すのに時間がかかるか
測定対象、期間、件数、集計方法を記録し、導入後も可能な限り同じ条件で比較します。
導入直後は利用環境を確認する
- 対象者が利用できているか
- 利用する場面が明確か
- テンプレートや手順が使いやすいか
- 出力をレビューできているか
- 機密情報や個人情報の扱いに問題がないか
- 利用者が不安や問題を報告できるか
この段階で成果を急ぎすぎると、利用回数を増やすこと自体が目的になる可能性があります。
導入後は効率と品質をあわせて確認する
作業時間が短くなった一方で、レビュー指摘や修正時間が増えていないかを確認します。問い合わせ対応が早くなった場合も、再問い合わせや誤回答が増えていないかを確認します。
効率と品質の両方が改善し、リスクが許容範囲に収まっている場合に、業務上の成果があったと評価しやすくなります。
一定期間後に投資対効果を評価する
- 創出された時間がどの業務に再配分されたか
- 処理件数や提案件数は増えたか
- 顧客・従業員対応の品質は変化したか
- 導入費、運用費、教育費、確認コストに見合う効果があるか
- 継続、修正、停止の判断を説明できるか
- 次に対象とする業務を選定できるか
成果が出なかった業務についても、直ちにAI全体の失敗と判断する必要はありません。対象業務の選び方、参照情報、プロンプト、教育方法などに原因がないかを確認します。
一方、改善を続けても効果が確認できず、運用負担やリスクが上回る場合は、対象業務での利用を停止する判断も必要です。
まとめ:AIの成果は業務単位で測る
AI活用の成果を測るうえで重要なのは、全社一律の数値だけで判断しないことです。
営業、人事、マーケティング、情報システム、管理部門では、AIに期待する役割が異なります。提案書作成を短縮したい部門もあれば、問い合わせ回答のばらつきを減らしたい部門、社内情報を探す時間を短縮したい部門もあります。
部門別KPIを設計する際は、次の順序で進めます。
- 対象業務とAIを利用する工程を決める
- 導入前のベースラインを測る
- 効率、品質、定着、事業貢献、リスクの指標を選ぶ
- 測定期間、対象件数、計算方法を定義する
- 結果を踏まえて継続、修正、停止を判断する
最初から精密な全社ROIを算出する必要はありません。まずは一つの部門、一つの業務、少数の指標から始め、測定方法の妥当性を確認しながら対象を広げます。
AI活用の成果は、「便利だった」という感想や利用回数だけでは十分に説明できません。一方で、AIだけの効果として売上や生産性の改善を断定することも適切ではありません。
業務文脈に沿ったKPIを設定し、効率、品質、事業貢献、リスクをあわせて確認することで、現場と経営の双方が検証できる評価に近づきます。
KPIは固定するものではありません。AIの機能、対象業務、利用者の習熟度、社内ルールが変化したときは、定義や目標値を見直し、自社の意思決定に役立つ評価指標へ更新していくことが重要です。
AI成果測定に関するQ&A
AI導入後、最初に測るべき指標は何ですか?最初に測るべきなのは、対象業務の利用率だけではなく、導入前後を比較できる基本的な指標です。
たとえば、提案書作成であれば、「初稿作成時間」「レビュー・修正を含む完了時間」「レビュー指摘数」の三つから始めます。効率と品質を同時に確認できるため、時間短縮だけを成果として扱うことを防げます。
利用回数の増加だけでは、成功とは判断できません。
利用回数は、定着状況を把握する先行指標です。作業時間、処理件数、手戻り率、誤回答率などの業務成果と組み合わせて評価する必要があります。
また、利用回数の増加が、回答を得るまでの試行錯誤の増加を示している可能性もあります。
まず、削減時間と実際の費用削減を分けて考えます。
作業時間が月40時間短縮されても、人員、残業、外注費などが減っていなければ、その40時間は直接的なコスト削減ではなく、ほかの業務に使える創出時間です。
金額換算する場合は、空いた時間がどの業務に再配分され、どのような成果を生んだかも確認します。
問題ありません。むしろ、対象業務に応じて異なるKPIを設定するほうが、実態を把握しやすくなります。
営業部門では提案書作成時間、人事部門では一次回答率、情報システム部門では一次解決率など、重視する成果は異なります。
一方、投資額、対象者に占める利用者の割合、重大インシデント数など、全社で共通して確認する指標を別に設定すると、経営判断に利用しやすくなります。
直ちにすべての利用を停止する必要はありません。まず、対象業務、参照情報、プロンプト、教育、レビュー体制に問題がないかを確認します。
改善後も十分な効果が得られず、運用コストやリスクが成果を上回る場合は、その業務での利用を縮小・停止する判断が妥当です。
AIを導入し続けること自体を目的にせず、業務ごとに継続、修正、停止を判断することが重要です。