業務AIの継続改善を属人化させないプロンプト運用体制の作り方

コラム
業務AIの継続改善を属人化させないプロンプト運用体制の作り方

はじめに

プロンプト運用、ナレッジ改善、業務フロー改善を個人任せにせず、AI運用体制として継続改善する方法を解説します。役割分担、レビュー会、改善KPI、ガイドライン、ツール選定の考え方を整理します。

伊藤 辰也

伊藤 辰也

AIコンサルタント

company-icon

Third Scope Asia PTE. Ltd.

1985年生まれ、三重県出身。 2012年、エンジニアとして香港のARスタートアップに参画。以後、複数のAIベンチャーにて新規事業開発やAIサービスの立ち上げに従事。 2018年には、AIサービス及びその開発チームを引き継ぐ形で、現サードスコープ設立。AIを活用した事業開発、業務改革、プロダクト開発支援を中心に、企業のAI導入・活用を支援。東京大学の特任研究員としてAI研究に携わった経験も持ち、現在もAIプロジェクト開発の前線で、技術とビジネスの両面から実践的なコンサルティングを行っている。

このプロンプト、誰が最新版を持っていますか

月曜朝の営業企画会議で、DX推進室の森さん(仮名)はそう問いかけました。3か月前、同社では生成AIの利用自体は広がっていたものの、営業、CS、管理部門がそれぞれ自分用のプロンプトを作り、社内資料も個人フォルダやSlackに散らばっていました。AIの回答品質が落ちても、原因がプロンプトなのか、参照しているナレッジなのか、業務フローなのかを切り分けられない状態でした。

現在は、議事録テンプレート、FAQ、商談メモ整理用プロンプトを部署横断で管理し、隔週のレビュー会で改善点を確認しています。直近8週間、対象30件の定例業務を確認したところ、修正依頼の多かったプロンプト12件のうち9件を最新版に統合できました。ただし、この数値は同社内の一部業務を対象にした観測であり、すべての組織に同じ効果が出ることを示すものではありません。

この記事では、プロンプト運用、ナレッジ改善、業務フロー改善を個人任せにせず、AI運用体制として回す方法を整理します。目指すのは、誰かの工夫がその場限りで消えず、組織知として蓄積され続ける状態です。ただし、ツールを入れるだけで継続改善が進むわけではありません。役割分担、ガイドライン、レビュー会、改善KPIを合わせて設計する必要があります。

AI活用は導入後に劣化しやすい

AI活用は導入後に劣化しやすい

生成AIの導入直後は、現場に分かりやすい変化が起こりやすい時期です。議事録の作成時間が短くなる、メール文面のたたき台がすぐ出る、社内資料の要約が早くなる。こうした初期成果によって、「これは業務に使える」という実感が生まれます。

しかし、数週間から数か月が経つと、別の問題が見えてきます。

最初にうまくいったプロンプトが個人のメモやチャット履歴に残ったままになっている。FAQとして使っている資料が古くなっている。ある部署では便利に使われているのに、別の部署では同じ試行錯誤を最初から繰り返している。この状態では、AI活用が広がっているように見えても、組織としては知見が蓄積されていません。

たとえば営業部では、商談メモを整理するプロンプトが複数存在していることがあります。AさんはBANT形式で整理し、Bさんは顧客課題と次回アクションを中心に整理する。どちらも実務上は有用でも、チームとして標準化されていなければ、CRMへの入力内容や引き継ぎ品質にばらつきが出ます。

CS部門では、問い合わせ対応用のナレッジをAIに参照させているものの、料金改定前の資料と改定後の資料が混在している場合があります。この場合、AIの回答が誤っているというより、参照元の情報管理に問題があります。

管理部門では、社内規程をもとに社員からの質問に答えるAIチャットを作ったものの、例外対応や個別判断が必要な質問までAIが断定的に答えてしまうことがあります。結果として、人が後から確認し直す手間が増えることもあります。

このように、業務AIの運用では、プロンプト、ナレッジ、業務フローのどれか一つだけを整えても十分ではありません。3つをつなげて管理しなければ、AI活用は徐々に属人化し、品質がぶれ、現場の信頼を失いやすくなります。

継続改善すべき対象はプロンプト・ナレッジ・業務フロー

継続改善すべき対象はプロンプト・ナレッジ・業務フロー

AI運用体制を考えるとき、最初に整理したいのは「何を改善し続けるのか」です。

多くの企業では、AI活用の改善というとプロンプトの書き方に目が向きます。もちろん、プロンプト運用は重要です。しかし、AIの出力はプロンプトだけで決まるわけではありません。参照するナレッジの質、業務フロー上の使われ方、出力後のレビュー方法にも左右されます。

継続改善の対象は、大きく3つあります。

プロンプト
AIに何を、どの前提で、どの形式で出力してほしいかを伝える指示文です。個人が一度だけ使うなら多少粗くても問題にならない場合がありますが、組織で再利用するなら、誰が使っても一定の品質が出るように整える必要があります。

ナレッジ
AIが参照する社内資料、FAQ、規程、過去の議事録、提案書、業務マニュアルなどを指します。ナレッジが古い、重複している、出典が不明である、部署ごとに別々に管理されている。このような状態では、AIの回答品質も安定しません。

業務フロー
AIをどの業務の、どのタイミングで使うのか。出力を誰が確認するのか。AIの回答をそのまま使ってよいのか、人の判断が必要なのか。これらを決めずにAIだけを配ってしまうと、現場ごとの判断に委ねられます。

たとえば「議事録を作ってください」だけでは、出力形式も粒度も毎回ぶれます。一方で、会議概要、決定事項、TODO、論点、次回確認事項といった見出しを決め、担当者と期限を必ず入れるよう指定すれば、後工程で使いやすい議事録になります。

AI運用体制では、プロンプト、ナレッジ、業務フローを別々に扱うのではなく、ひとつの改善サイクルとして見ることが重要です。

プロンプト運用は「作成」より「維持」が重要になる

プロンプト運用は「作成」より「維持」が重要になる

プロンプト運用という言葉から、プロンプトの書き方だけを想像する方もいるかもしれません。しかし、組織で必要なのは、よいプロンプトを作ること以上に、よいプロンプトを維持し、更新し、共有する仕組みです。

たとえば、ある部署で議事録作成用のプロンプトが改善されたとします。決定事項に「誰が」「いつまでに」を必ず入れるようになり、会議後のタスク確認が楽になりました。

この改善が個人のチャット履歴に残っているだけでは、組織の改善にはなりません。ライブラリに登録し、名前を付け、用途を説明し、最新版として共有して初めて、他の人も使える状態になります。

プロンプト運用で決めておきたい項目は、少なくとも次の5つです。

  • どのプロンプトを標準として使うか
  • 誰がプロンプトのオーナーになるか
  • どのような命名規則で管理するか
  • 変更履歴をどこに残すか
  • 使われなくなったプロンプトをどう整理するか

命名規則は、最初から複雑にする必要はありません。たとえば「用途_対象業務_バージョン」のように、誰が見ても意味が分かる形にします。

プロンプト命名規則の例
プロンプト名 想定用途
議事録_部門定例_v1 部門定例会議の議事録作成
商談メモ整理_新規営業_v2 新規営業の商談メモ整理
FAQ回答_人事総務_v1 人事総務に関する社内FAQ回答

何に使うプロンプトなのか、どの業務に対応しているのか、どの版なのかが分かれば、最低限の管理がしやすくなります。

一方で、「最新版」「テスト」「山田さん作成」「いい感じのやつ」のような名前が増えると、短期間で探しにくくなります。プロンプト運用では、内容の良し悪しだけでなく、探しやすさ、更新しやすさ、廃止しやすさも重要です。

ナレッジ改善はAIの回答品質を支える土台になる

ナレッジ改善はAIの回答品質を支える土台になる

AIの回答が不安定なとき、プロンプトだけを直そうとするケースがあります。しかし、実際にはナレッジ側に原因があることも少なくありません。

たとえば、社内FAQをAIに参照させている場合を考えます。社員が「出張時の日当はいくらですか」と質問したとき、AIが古い旅費規程を参照して回答すれば、当然ながら誤った案内になります。この場合、プロンプトを丁寧にしても、参照先が古ければ正しい回答にはなりません。

ナレッジ改善で重要なのは、情報を増やすことではなく、使える状態に保つことです。

社内資料を大量に登録すればAIが賢くなる、というわけではありません。古い資料、重複した資料、正式版ではない資料、出典が分からない資料が混ざると、むしろ回答品質が下がるおそれがあります。

ナレッジ管理では、次の観点を確認します。

  • その資料は最新版か
  • 出典や作成部署が分かるか
  • 業務で実際に参照されているか
  • 同じ内容の資料が複数存在していないか
  • AIに参照させてよい情報か
  • 更新日や有効期限が分かるか

とくに重要なのは、誰がナレッジの責任者かを決めることです。

人事規程であれば人事部門、料金表であれば営業企画や経営管理、製品仕様であればプロダクト責任者や情報技術部門など、情報の正しさを判断できる人がオーナーになる必要があります。

DX推進部門だけでナレッジを整備しようとすると、分類や置き場所は整理できても、内容の正しさまでは担保しにくくなります。AI運用体制では、DX推進部門や情報システム部門が仕組みを整え、各業務部門が中身の責任を持つ形が現実的です。

業務フロー改善としてAIを組み込む

業務フロー改善としてAIを組み込む

プロンプトとナレッジが整っていても、業務フローに組み込まれていなければ、AI活用は定着しません。

現場でよく起こるのは、「使いたい人だけが使う」状態です。導入初期はそれでも構いません。しかし、業務として再現性を持たせるには、どの場面でAIを使うかを決める必要があります。

たとえば、会議運営では次のように分けられます。会議前には、前回議事録と進捗メモをもとに、AIがアジェンダ案を作成します。会議後には、録音やメモをもとに議事録の下書きを作成します。その後、会議主催者が決定事項、担当者、期限を確認し、必要に応じて修正してから共有します。

会議運営におけるAIと人の役割分担の例
工程 AIが担当すること 人が担当すること
会議前 前回議事録と進捗メモをもとにアジェンダ案を作成する 会議の目的、優先順位、参加者に合わせて調整する
会議後 録音やメモをもとに議事録の下書きを作成する 決定事項、担当者、期限を確認して共有する

問い合わせ対応でも同じです。社員からの質問に対して、AIが社内規程やFAQを参照して回答案を作成します。ただし、規程に明記されていない内容や例外判断が必要な内容は、担当部署に確認するフローにします。AIが断定してはいけない領域をあらかじめ決めておくことが重要です。

商談メモの整理でも、AIは要点抽出や次回アクションの候補出しを担当できます。一方で、顧客の温度感、提案の優先順位、値引き判断などは人が行うべきです。

AIが使われない理由は、機能が足りないからだけではありません。どこまで任せてよいか分からないから使えない、ということもあります。業務フロー改善とは、AIを使う場所を増やすことではなく、AIと人の役割を明確にすることです。

AI運用体制に必要な役割分担

AI運用体制に必要な役割分担

継続改善を回すには、役割分担が欠かせません。

導入初期は、熱量の高い担当者が一人で進めることもあります。しかし、その状態が長く続くと、担当者が忙しくなった瞬間に運用が止まります。プロンプトの更新も、ナレッジの整理も、レビュー会も、すべて「あの人が時間のあるときにやるもの」になってしまいます。

AI運用体制では、少なくとも次の役割を決めておくとよいでしょう。

業務オーナー
そのAI活用がどの業務成果につながるのかを定義します。営業部門であれば商談準備時間の短縮や提案品質の平準化、CS部門であれば問い合わせ対応の初回回答品質の向上、人事部門であれば社内問い合わせの自己解決率向上などです。

プロンプト管理者
現場で使われるプロンプトを整理し、標準化し、バージョン管理します。現場から「この表現を追加したほうがよい」「この出力形式は使いにくい」といった声を集め、改善案を反映します。

ナレッジ管理者
AIが参照する資料の鮮度、正確性、出典を管理します。資料を追加するだけでなく、古い資料を削除する、重複を統合する、参照すべき資料と参照すべきでない資料を分けることも役割に含まれます。

現場利用者
AIの出力を使いながら、うまくいった例とうまくいかなかった例をフィードバックします。実際に使う人の声がなければ、プロンプトもナレッジも改善できません。

運用責任者
レビュー会の開催、改善KPIの確認、部門間の調整、ガイドラインの更新を担います。すべての作業を自分で行う必要はありませんが、運用が止まらないように全体を見ます。

重要なのは、AI運用を特定部門だけの仕事にしないことです。業務に入り込むAIである以上、業務部門のオーナーシップが不可欠です。

レビュー会はAI活用を育てる場として設計する

レビュー会はAI活用を育てる場として設計する

継続改善を実際に回すためには、レビュー会が有効です。

ただし、大がかりな会議を増やす必要はありません。最初は隔週30分でも構いません。重要なのは、AIの利用状況、出力の品質、現場の困りごとを定期的に確認する場を持つことです。

レビュー会で扱うテーマは、次のように整理できます。

  • よく使われているプロンプト
  • 修正が多い出力
  • AIが答えられなかった質問
  • 業務フロー上の詰まり

まず、よく使われているプロンプトを確認します。利用頻度が高いプロンプトは、現場にとって価値がある可能性が高いものです。一方で、頻繁に使われるからこそ、出力のぶれや誤りが大きな影響を持ちます。

次に、修正が多い出力を確認します。AIが出した下書きに対して、人が毎回同じ修正をしている場合、その修正内容はプロンプトに反映できる可能性があります。たとえば「いつも結論が後ろに来るので、結論ファーストに直している」という声があれば、出力条件に追加できます。

次に、AIが答えられなかった質問を確認します。回答できなかった質問は、ナレッジ不足のサインかもしれません。FAQに追加すべき情報があるのか、資料はあるが登録されていないのか、そもそもAIが答えてはいけない質問なのかを切り分けます。

最後に、業務フロー上の詰まりを確認します。AIの出力自体は悪くないのに現場で使われていない場合、入力する手間が大きい、出力後の確認者が決まっていない、既存ツールとの行き来が面倒といった問題があるかもしれません。

レビュー会は、AIを評価する場ではなく、業務を改善する場です。「AIが間違えた」で終わるのではなく、「なぜその出力になったのか」「プロンプトで直せるのか」「ナレッジを更新すべきか」「人が判断するフローに戻すべきか」を確認します。

改善KPIは利用率だけで見ない

改善KPIは利用率だけで見ない

AI運用体制を評価するとき、最初に見やすいのは利用率です。何人が使っているか、何回使われているか、どの部署で使われているか。これらは重要な指標です。

しかし、利用率だけでは、AI活用が業務改善につながっているかは分かりません。たくさん使われていても、毎回大幅な修正が必要であれば、実質的な効果は限定的かもしれません。逆に、利用回数は少なくても、月次レポートや経営会議資料の作成など、負荷の高い業務で使われていれば価値は大きい可能性があります。

改善KPIは、プロンプト、ナレッジ、業務フローの3つに分けて設定すると整理しやすくなります。

改善KPIの分類例
対象 KPIの例
プロンプト運用 標準プロンプトの登録数、利用回数、改善回数、最新版への統合数、現場からの修正要望件数
ナレッジ改善 更新件数、重複削除数、古い資料の整理件数、AIが回答できなかった質問のうちFAQ化された件数
業務フロー改善 作業時間、差し戻し件数、レビュー時間、問い合わせの一次回答時間、会議後の議事録共有までの時間

たとえば議事録作成であれば、「60分会議の議事録作成にかかる時間が、導入前は平均30分、導入後は確認作業を含めて平均10分になった」といった形で測定できます。ただし、このような数値を出す場合は、対象期間、対象会議数、測定条件を明確にする必要があります。

すべてを数値化しようとしすぎる必要はありません。「会議後の共有が早くなった」「新人が過去の議事録を探しやすくなった」「問い合わせ対応で、担当者ごとの回答のばらつきが減った」といった定性的な変化も、運用改善の重要な成果です。発言や行動の変化を記録し、レビュー会で共有することで、現場の納得感が高まります。

ガイドラインは「禁止事項」だけでなく「使い方」を示す

ガイドラインは「禁止事項」だけでなく「使い方」を示す

AI運用体制にはガイドラインが必要です。

ただし、ガイドラインが禁止事項だけになると、現場は使いにくくなります。「これは入れてはいけない」「これは注意」「これは確認」といった内容だけでは、結局どの業務でどう使えばよいのかが分かりません。

実務で役立つガイドラインには、少なくとも次の3つが必要です。

情報の取り扱いルール
個人情報、顧客情報、契約情報、未公開財務情報など、AIに入力してよい情報と入力してはいけない情報を定義します。必要に応じて、マスキングの方法も示します。

利用シーンのルール
どの業務でAIを使ってよいのか、どの業務では使ってはいけないのか、どの業務では人の確認を必須にするのかを整理します。たとえば、メールの下書きや議事録の要約には使えるが、契約判断や人事評価の最終判断には使わない、といった線引きです。

レビューのルール
AIの出力を社外に出す前に、誰が何を確認するのかを決めます。数字、日付、固有名詞、引用、法務・財務・人事に関わる内容は、とくに確認が必要です。

ガイドラインは、一度作って終わりではありません。実際の利用を通じて、例外や迷うケースが出てきます。そのたびに更新し、現場に共有する必要があります。

理想は、ガイドライン自体も継続改善の対象にすることです。「このケースは判断に迷った」「この表現だと現場に伝わりにくい」「この業務はAI利用可にしてもよさそうだ」といった声を集め、現場に合う形へ育てていきます。

小さく始めて、運用できる範囲から広げる

小さく始めて、運用できる範囲から広げる

AI運用体制というと、最初から全社規模の仕組みを作ろうとしてしまうことがあります。しかし、多くの場合、最初から大きく始めるほど運用は重くなります。

おすすめは、1部署、1業務、1つのプロンプト群から始めることです。

たとえば、営業部門の商談メモ整理だけを対象にします。商談後のメモをAIで整理し、顧客課題、次回アクション、懸念点、CRM転記用の要約を出力する。この業務に絞って、プロンプトを標準化し、参照するナレッジを整え、レビュー会で改善します。

あるいは、人事総務部門の問い合わせ対応だけを対象にします。就業規則、経費規程、勤怠ルールなどを学習データとして整理し、社員からのよくある質問に対してAIが回答案を出す。ただし、例外判断は担当者に確認するフローにします。

範囲を絞ることで、改善点が見えやすくなります。誰がオーナーかも明確になります。KPIも測りやすくなります。

小さく始めた運用が回るようになれば、他部署にも展開できます。そのときには、最初の部署で作った命名規則、レビュー会の進め方、改善KPI、ガイドラインがたたき台になります。

AI活用の定着に必要なのは、最初から完璧な設計を作ることではありません。改善し続けられる最小単位を作り、それを横展開していくことです。

ツール選定では、管理と改善のしやすさを見る

ツール選定では、管理と改善のしやすさを見る

業務AIを継続改善するには、どのツールを使うかも重要です。ただし、特定のツールを導入すれば運用課題が自動的に解決するわけではありません。見るべきポイントは、現場が使いやすいか、管理者が改善しやすいか、情報の扱いを統制しやすいかです。

たとえば、プロンプトや参照資料を個人ごとに管理するだけでは、組織的な改善は難しくなります。部署や業務単位でプロンプトを整理できること、学習データを管理できること、利用者や権限を分けられること、改善履歴を追いやすいことが重要です。

Kanataのように、AIチャット、AI要約、プロンプトライブラリ、学習データライブラリをプロジェクト単位で扱えるサービスは、こうした運用に向いている選択肢の一つです。たとえば、営業部門では商談メモ整理用のプロンプトと提案資料をまとめ、人事部門では社内規程やFAQをまとめる、といった使い分けがしやすくなります。

ただし、ツールを導入する前に、どの業務から始めるのか、誰がオーナーになるのか、どの資料を参照させるのか、どの出力を人が確認するのかを決めておく必要があります。ツールは運用を支えるものですが、運用設計そのものを代替するものではありません。

まとめ:業務AIは導入するものではなく、育てるもの

まとめ:業務AIは導入するものではなく、育てるもの

生成AIの導入によって、業務の一部は確かに速くなります。しかし、初期成果を一過性で終わらせないためには、プロンプト、ナレッジ、業務フローを継続的に見直す運用体制が必要です。

プロンプトは、個人の工夫で終わらせず、組織で再利用できる形に整える必要があります。ナレッジは、登録するだけでなく、鮮度、正確性、出典を保つ必要があります。業務フローは、AIに任せる作業と人が責任を持つ判断を分ける必要があります。

そのためには、業務オーナー、プロンプト管理者、ナレッジ管理者、現場利用者の役割分担が欠かせません。レビュー会や改善KPIを通じて、AI活用を業務改善のサイクルに組み込むことが重要です。

業務AIは、導入して終わりではありません。プロンプトを育てる。ナレッジを育てる。業務フローを育てる。こうした積み重ねが、個人の工夫を組織知に変え、継続改善できるAI運用体制をつくっていきます。

Q&A:プロンプト運用・ナレッジ改善・AI運用体制のよくある質問

プロンプト運用は、まず何から始めるべきですか?

まずは、現場でよく使われているプロンプトを集めることから始めます。そのうえで、重複しているもの、出力品質が安定しているもの、修正が多いものを分けます。最初から全社標準を作るのではなく、1部署・1業務で標準プロンプトを決め、レビューしながら改善するのが現実的です。

ナレッジ改善では、どの資料から整理すべきですか?

利用頻度が高く、業務判断に影響しやすい資料から整理します。たとえば、社内規程、FAQ、料金表、製品仕様、商談資料、問い合わせ履歴などです。古い資料や重複資料が混ざるとAIの回答品質に影響するため、最新版、作成部署、更新日、利用可否を確認してから登録することが重要です。

AIの回答をどこまで信頼してよいのでしょうか?

AIの回答は、下書き、要約、論点整理、観点出しとして活用するのが基本です。社外に出す文章、契約・法務・財務・人事に関わる内容、顧客への正式回答などは、人が必ず確認する前提で運用する必要があります。AIの回答が自然に見えても、数字、日付、固有名詞、出典は確認が必要です。

改善KPIはどのように設定すればよいですか?

利用回数だけでなく、業務への影響が分かる指標を組み合わせます。プロンプト運用では利用回数、改善回数、最新版への統合数。ナレッジ改善では更新件数、重複削除数、未回答質問のFAQ化件数。業務フロー改善では作業時間、差し戻し件数、レビュー時間などが候補になります。数値化が難しい場合は、現場の発言や行動変化も記録します。

AI運用体制は、どの部門が主導すべきですか?

全体設計はDX推進部門や情報システム部門が担うことが多いですが、業務内容の正しさは各業務部門が責任を持つ必要があります。たとえば、人事規程は人事部門、料金表は営業企画や経営管理、製品仕様はプロダクト責任者が確認します。AI運用は、技術部門だけで完結させず、業務部門と分担して進めることが重要です。

Share this article