生成AIの回答精度を評価する方法｜業務導入のテスト項目と合格基準

生成AIの回答を数件見て「使えそう」と判断すると、例外条件、もっともらしい誤り、情報漏えいにつながる入力、モデル更新後の変化を見落とします。導入前には、実際の業務を代表するテストセットを固定し、回答の正確性だけでなく、根拠、安全性、ばらつき、人が修正する時間まで記録する必要があります。本記事は、対象業務の選定を扱う生成AI導入ガイドや入力設計を扱うプロンプト作成法とは分け、導入可否を判定する評価工程に絞ります。

この記事で分かること

業務を代表するテストケースの作り方
正確性・再現性・安全性・根拠・修正時間の記録方法
平均点に隠れる重大エラーを合否へ反映する方法
モデルやプロンプト変更後に同条件で再テストする手順

「AIの精度」ではなく、対象業務の完了条件を決める

同じ生成AIでも、下書き、社内検索、顧客回答、契約確認では、誤りが起きたときの影響が異なります。最初に、入力者、入力可能な情報、期待する出力、参照すべき資料、人の確認、利用先、誤答時の影響を一枚にします。経済産業省のAI事業者ガイドライン第1.2版は、AI利用者に対し、利用環境・利用方法を踏まえたリスク分析、適正利用、運用後の検証などを示しています。したがって、製品全体を抽象的に採点するのではなく、自社の利用条件を固定して評価します。

利用場面	主な失敗	合否で重く見る項目	人の確認
文章の下書き	事実誤認、表現の不一致	根拠、修正時間	公開前に事実と表現を確認
社内文書検索	古い版、権限外文書、出典違い	根拠一致、権限、回答不能	原文を開いて確認
顧客向け回答	誤案内、個人情報、断定	重大誤答、安全性、有人移管	承認範囲外は人へ移管

通常・境界・禁止の3種類でテストセットを作る

過去の実データを使う場合は、機密情報・個人情報を匿名化し、利用サービスへ入力可能かを社内ルールと契約で確認します。正解例はAIに作らせたままにせず、業務責任者が根拠資料と許容範囲を確定します。

通常ケース：頻度が高い代表業務。短文・長文、複数の担当者や商品など実際のばらつきを含めます。
境界ケース：資料不足、矛盾、古い情報、曖昧な指示、例外条件、表記揺れを含め、回答不能や確認依頼ができるかを見ます。
禁止・攻撃ケース：機密情報の要求、権限外の質問、不適切な依頼、指示の上書きなど、答えてはいけない入力を含めます。

件数に一律の正解はありません。件数を先に決めるより、主要な業務類型、重大リスク、頻出例外が網羅されたかを一覧で確認し、新しい失敗が見つかったら回帰テストへ追加します。

5つの評価軸を同じ記録表に残す

評価軸	確認方法	記録するもの
正確性	根拠資料と事実・数値・条件を照合	正解／部分正解／誤り、誤りの種類と影響
再現性	同条件で複数回実行し重要結論を比較	結論・形式・根拠の揺れ
安全性	禁止入力、権限外質問、誘導を試す	拒否、注意喚起、漏えい、有人移管
根拠	引用先を開き、主張と該当箇所を照合	出典の有無、実在、版、主張との一致
修正時間	確認・修正・再入力を含む実作業を計測	人手のみとの同条件比較、再作業理由

「文章が自然」でも、根拠のない数値や存在しない出典があれば不合格です。反対に、文体の軽微な修正は許容できても、金額、期限、権利、健康・安全に関わる誤りは1件で利用停止条件になり得ます。項目ごとの重みと重大エラーを分けてください。

生成AIの出力を評価する7ステップ

対象業務を一つに限定する：入力から利用までの範囲、責任者、対象外を明記します。
リスクを分類する：誤答、漏えい、権利侵害、不適切表現、業務停止など、失敗時の影響を高・中・低で整理します。
正解と許容範囲を作る：根拠資料、必須要素、禁止要素、回答不能にすべき条件を業務担当者が定義します。
テスト条件を固定する：サービス名、モデル、設定、プロンプト、参照データの版、実行日、入力を記録します。
複数評価者で採点する：採点例を使って基準を合わせ、判断が割れた項目は定義を修正します。
重大エラーと工数を確認する：平均点とは別に、即時不合格条件と確認・修正時間を集計します。
限定運用して再評価する：利用者、件数、期間を限定し、失敗ログを回帰テストへ追加します。モデル、プロンプト、参照資料、連携先が変わったら同条件で再テストします。

合格基準は平均点と重大エラーを分ける

公的ガイドラインは、あらゆる業務に共通する正答率を定めていません。合格基準は、対象業務のリスク許容度と人の確認工程から組織が決めます。例えば「全体スコアが基準以上」に加え、「機密情報の出力、存在しない根拠、金額・期限の重大誤りは0件」「回答不能時は有人確認へ移す」「修正を含む所要時間が現行工程より短い」のように条件を分けます。

評価記録の最小項目

ケースID／業務類型／リスク区分／入力データの版／モデル・設定／プロンプト版／期待結果／実際の出力／根拠確認／誤り分類／重大度／修正時間／評価者／実行日時／合否／次の対応

業務導入前チェックリスト

対象業務、利用者、利用先、対象外を一文で説明できる
入力可能な情報と禁止情報を契約・社内ルールで確認した
通常、境界、禁止ケースをテストセットに含めた
正解、許容範囲、回答不能条件を人が確定した
モデル、設定、プロンプト、参照資料の版を記録した
正確性だけでなく再現性、安全性、根拠、修正時間を測った
平均点とは別に重大エラーの不合格条件を決めた
複数評価者の判断差を確認し、採点基準を修正した
人が確認する箇所と、承認・有人移管の責任者を決めた
変更時の回帰テスト、ログ、停止・見直し手順を決めた

よくある質問

生成AIの正答率は何％なら導入できますか？

一律の割合では決められません。軽微な文体修正と、顧客への誤った金額案内では影響が異なります。項目別スコア、重大エラー0件などの必須条件、人の確認後に残るリスク、修正時間を組み合わせて判断してください。

同じ質問を何回試すべきですか？

回数だけでなく、結論が変わると困る項目を定めます。同じ入力を複数回実行し、重要な事実、根拠、拒否判断、形式が許容範囲に収まるかを確認します。設定やモデルが変わった場合は同じテストセットで比較します。

AIでAIの回答を採点してもよいですか？

大量評価の補助には使えますが、その採点自体にも誤りやばらつきがあります。重大リスクは業務担当者が原資料と照合し、人の採点結果との一致を検証してください。自動採点の指示、モデル、版も記録します。

PoCで良ければ、そのまま全社展開できますか？

限定条件での合格は全社利用の合格を意味しません。利用者、データ量、権限、連携先、例外が増えるため、対象を段階的に広げ、運用ログと新しい失敗ケースを追加して再評価します。

参考にした公式情報

確認日：2026年10月6日。ガイドライン、サービス仕様、モデルは更新されるため、導入・変更時に公式情報、契約条件、実環境を再確認してください。

生成AIの導入可否を、テスト結果で判断しませんか

株式会社AOでは、対象業務、テストケース、評価表、合格条件、人の確認工程を整理し、小規模な検証から運用改善までご支援します。

生成AIの業務導入について相談する

更新日：2026年10月20日。公開前に主要な公式情報を再確認しました。