AI評価（Evals）とは？LLMの回答や仕事を目的に合わせて確かめる方法

AIへの指示を直したら、前より読みやすい案内文ができた。それだけで改善したと言えるでしょうか。時刻がずれていたり、必要な予約条件が消えていたりすれば、見た目が整っても使える案内にはなりません。Evalsでは、先に「何ができればよいか」を決め、その条件で結果を確かめます。

AI評価とは、任せたい仕事と合格条件を決めて確かめること

AI評価（Evals）は、AIへ与える課題と評価基準を用意し、回答や実行結果が目的に合うかを調べることです。 Evalsはevaluationsの略です。「このAIは何点か」という一つの順位だけでなく、任せたい仕事ごとに確かめる内容を決めます。

たとえば、案内文の下書きを作る仕事では、流暢さに加えて、日時や場所が元資料と一致することが必要です。保存まで任せるなら、文章の完成とは別に、指定先へ保存されたかも対象になります。

一つの回答の事実を照合する方法はAIのハルシネーションで扱います。ここでは、複数の課題を用意して同じ基準で比べ、変更による改善や悪化を見つけるところまで進みます。

評価で見えるのは、試した条件での振る舞いです。課題に合格したことから、人と同じ意味で理解しているとまでは言えません。この区別はAIは本当に言葉を理解しているの？で扱います。

そのための最初の一歩は、「よい案内」を確かめられる条件へ言い換えることです。

正しい回答だけで十分？内容・形式・完了条件を分ける

架空のラボで、見学案内の下書きを作るAIアプリを考えます。仕事の指定は次のとおりです。

渡した案内メモを基に、時刻・場所・予約条件を三つの箇条書きで示す。不明な項目は不明と書く。下書きを画面へ表示するだけで、外部へ送信しない。

この指定から、評価する条件を三つに分けます。

「分かりやすい」「気が利く」だけでは、採点する人によって基準が変わります。今回は、何を見れば合否を判断できるかを先に決めました。

ユイ

案内がきれいにできていても、それだけじゃ採用できないんだね

ピコ

うん。今回は下書きまでという依頼だよね。内容を見るのと一緒に、どこまで操作したかも確かめよう

エージェントが「保存しました」と答えたことと、ファイルが指定先に存在することも別です。操作を任せる仕事では、回答文だけでなく、ツールの記録や操作後の状態を見ます。

条件が決まったら、その条件が問われる課題を用意します。普通の日だけを試すと、特別な日や情報不足への対応は分かりません。

同じ評価用の例で、変更前と変更後を比べる

この教材では、通常日・特別日・予約情報のない日の三ケースを使います。各ケースに渡す資料と正解の条件を固定し、指示やアプリの処理を変更する前後で比べます。以下は説明用に作った架空の結果で、実在するモデルの測定値ではありません。

変更後は、特別日の時刻を正しく使い、箇条書きもそろいました。しかし、通常日の下書きを外部へ送ってしまっています。内容が改善しても、依頼の範囲を外れる問題が新しく生じた、という読み方になります。

一方を直したとき、前にできていた別の仕事が崩れる場合があります。新しいケースだけでなく、すでに通っていたケースも再び試すと、その悪化を見つけられます。

比較では、変更したモデルや指示、渡す資料、使える道具を記録します。まとめて何もかも変えると、何が結果に関係したかを絞りにくくなります。また、ある試行で作ったファイルや会話履歴が次の試行に残ると条件が変わるため、開始時の状態もそろえます。

これで三ケースを公平に比べる準備はできました。それでも、一度ずつ通っただけでは、まだ見えていない部分があります。

一度の成功や平均点だけでは見えない失敗

生成AIは、同じ課題でも試行ごとに結果が変わる場合があります。一回のよい回答を見せるだけでなく、必要に応じて繰り返し、成功・失敗の両方を残します。

平均点と、必ず守る条件は分けて見ます。 このラボの仕事なら、外部送信しない条件を、読みやすさの加点で埋め合わせることはできません。平均に加え、条件別・ケース別の失敗を見れば、どこを直すかが分かります。

三ケースに合格しても、休館日や資料同士の食い違いには未対応かもしれません。教材の三例から、現実での成功率は見積もれません。実際に起こる依頼や見つかった失敗を基に、評価するケースを増やします。

また、失敗を見て修正したケースは、すでに調整に使った例です。それだけに合わせ込んでいないか確かめるため、変更に使っていない例も残します。学習データと評価データを分ける基本は機械学習の評価と共通しますが、ここで変えているのはモデルの重みとは限らず、指示やアプリの仕組みも含みます。

試す例が増えると、次は採点の負担が問題になります。何を自動で確かめ、どこを人が読むとよいでしょうか。

AIによる採点と人の確認をどう使い分ける？

ラボの案内なら、箇条書きの形はプログラムで確認できます。一方、予約条件を正しく言い換えたかは、文字の一致だけでは決めにくい場合があります。採点方法を対象に合わせて組み合わせます。

AIに「自分の回答は正しいですか」と聞き直して、肯定されたら終了、とはしません。評価する側にも間違いがあります。人が確かめた回答を使って採点のずれを調べ、不合格の理由と元の結果を読み返せるようにします。

うまくできなかった原因が、渡した情報にあるなら？

Evalsで欲しいのは点数だけではありません。何を任せ、どの条件で失敗したかを残すと、次に直す場所を考えられます。ラボの特別日で時刻を間違えたなら、まず特別日の資料が入力に入っていたか、古い通常日の資料と混ざっていなかったかを調べます。

必要な情報が届いていなかったとしたら、モデルを替える前にも見直せる部分があります。コンテキストエンジニアリングの情報選択では、今回の仕事に必要な資料を選ぶところから考えます。入力を直した後は、同じ評価へ戻り、改善と新しい失敗の両方を確かめましょう。