【2026年10月】AI開発の「完了」をどう確かめる？MicrosoftのAX評価ガイド
AIに開発を頼み、「完了しました」と返ってきても、そのまま使えるとは限りません。指定したサービスと違うものを選ぶ、古いAPIを呼ぶ、動かないコードを完成扱いにするといった問題は、成果物を確かめて初めて分かります。
Microsoftは2026年10月9日、SDKやAPIなどの提供者が、AI開発エージェントによる技術の利用を評価するための「AX Practitioner Playbook」を公開しました。AXはAgent Experienceの略で、AIが技術を見つけ、選び、使う際の体験を指します。今回は、開発を発注する担当者にも分かるよう、確認すべき点を整理します。Microsoftの公開案内
1. 「選ばれること」と「正しく使われること」は別
Microsoftの10月6日の解説では、AXを二つの問いに分けています。一つは、AIが評価対象の技術を見つけて選ぶか。もう一つは、選んだ技術を正しく使えるかです。技術名を指定しない依頼で選択を確かめ、指定した依頼で実装の正しさを確かめます。AXの定義と評価軸
例えば「問い合わせ受付を作って」と頼んだ場合、何を使うかもAIの選択に含まれます。一方、「既存の問い合わせAPIにつないで」と指定した場合は、そのAPIの入力形式やエラー処理に合っているかが焦点になります。この二つを混ぜると、失敗した理由を見つけにくくなります。
2. 10月に公開されたPlaybookは何をする資料か
公開案内によると、Playbookは評価の準備、失敗原因の調査、改善の検証をまとめた実務資料です。対象はAPI、SDK（開発用の部品）、CLI（コマンド操作の道具）、MCPサーバーやスキル、その使い方を伝える文書などを提供する人です。
公開案内は、コードが実行できるかを確かめることと、実行までの記録から原因を探ることを重視しています。例えば、拡張機能が読み込まれなかった場合と、読み込まれたのに使われなかった場合では、直す場所が違います。資料はMicrosoftのGitHubで案内されています。本記事は公開案内と公式解説を基にしており、PDF本文は未確認です。
3. 改善前後は同じ条件で比べる
評価方法を扱う6月10日の公式記事では、同じ作業を拡張機能の有無で比較し、モデル、実行アプリ、依頼文、作業環境をそろえる方法が説明されています。条件をまとめて変えると、何が効いたか判断できないためです。評価方法の公式解説
「API名が書かれている」「ツールが一度呼ばれた」だけでは、正しい利用の証拠になりません。コメントに書いただけなのか、実際に処理へ組み込まれているのかを区別します。さらにビルドや実行を確認します。6月の公式記事は開始例として、拡張機能あり・なしで各5回の実行を示しています。品質とともに、適用単価を反映した実行費用を比較し、結論は試したモデルや環境の範囲に限ります。
4. 問い合わせフォームなら何を確認するか
以下は本記事独自の確認例です。問い合わせフォームから指定APIへ送信する実装を想定しています。実際の顧客情報や本番送信先を使わず、許可されたテスト環境で確かめます。
- バージョン：指定したSDKのバージョンを実際の処理で使用し、廃止されたAPIを呼んでいない。
- 認証と接続：指定した認証方法・受付先・リクエスト形式で処理する。認証情報を画面やログへ表示しない。
- 入力：必要な項目をAPIの仕様に合わせて送り、必須欄が空なら送信を止める。
- 失敗時：通信に失敗したのに「送信完了」と表示しない。
- 再操作：連続送信時の受付件数が仕様どおりである。重複を防ぐ仕様なら同じ問い合わせが複数登録されない。
スマートフォンでの表示や引継ぎ記録も、別途確認する品質項目です。「きれいに作る」「使いやすくする」だけでなく、担当者が変わっても同じ判定になる条件を用意します。
5. 小さく試すための確認表
最初は対象を一つの機能に絞り、改善前後で同じ確認表を使うと整理しやすくなります。次の項目を用意してからテストすると、成功した一例だけで判断するのを避けられます。
- 依頼した作業と、合格とする条件
- モデル・実行アプリ・OS・使用した拡張機能
- 実行できたか、必要な処理が正しかったか
- 所要時間・確認できた処理費用・人が修正した内容
- 変更点と、同じ条件で再確認した結果
未取得の費用や未実施のテストは、ゼロや合格ではなく「未取得」「未確認」と記録します。
6. まとめ
SDKやAPIの選択と実装を分けて評価し、文書や拡張機能の変更前後で、正しく動いた割合と実行費用を比較します。完成報告に加えて、合格条件と実行結果を確認できれば、どこを直すべきかも共有しやすくなります。
参照URL
- Microsoft：Introducing the Agent Experience (AX) Practitioner Playbook（2026年10月9日）
- Microsoft：What is Agent Experience (AX)?（2026年10月6日）
- Microsoft：How to measure AI agent extension effectiveness（2026年6月10日、評価方法の背景資料）
- Microsoft：AX Practitioner Playbook配布先
D-aerial関連リンク
「紹介リンク（招待コード）を含みます」
