AgentXで変わるAIエージェント評価｜実業務ベンチマークの作り方

2026年8月、AIエージェントの選び方に大きな変化が起きました。モデルへ一つの質問を与えて正答率を比べるだけでは、実際の業務性能を判断しにくくなったのです。

AIエージェントは、長い指示や資料を読み、何度も会話し、外部ツールを使い、必要に応じて複数のサブエージェントを動かします。単発テストでは速かったモデルが、実務では履歴の増加やツール待ちで遅くなることもあります。

SemiAnalysisは8月24日、こうした現実の処理を再現するオープンソースの推論ベンチマーク「AgentX 1.0」を公開しました。翌25日にはOpenAIが、同じInferenceX基盤を使った推論チップ「Jalapeño」の測定結果を発表しています。

二つの動きが示すのは、AI評価が「一問に何点取れるか」から「業務を最後まで安定して完了できるか」へ移っていることです。この記事では、中小企業や制作会社がAIエージェントを比較するときに必要な実務テストの設計を解説します。

01. 従来のAIベンチマークでは何が足りないのか

一問一答と実業務では負荷の形が違う

従来の推論テストでは、決められた長さの入力を一度渡し、一定量の回答を生成する方法が広く使われてきました。この方法はモデルやハードウェアの基礎性能を比べるには有効ですが、実際のエージェント業務とは異なります。

例えば、企業調査を行うエージェントは、検索、ページ取得、要約、比較、再検索、資料作成を順番に実行します。前の結果が次の入力へ追加されるため、処理が進むほど文脈が長くなります。途中で複数の調査役を起動すれば、短時間に処理が集中します。

最初の返答速度だけでは完了時間を予測できない

AIサービスでは「最初の文字が表示されるまでの時間」や「1秒当たりの生成トークン数」が示されることがあります。しかし、ツール利用を含む業務では、各ターンの待ち時間、履歴の再読込、キャッシュの有無、エラー後の再開も影響します。

各工程で数秒ずつ遅れるだけでも、数十回の処理を行うタスクでは大きな差になります。企業が知りたいのは、最初の返答が速いかではなく、確認可能な成果物がいつ完成するかです。

02. AgentX 1.0が再現する四つの実務負荷

SemiAnalysisが公開したAgentX 1.0は、最大100万トークンの文脈を含む、複数ターンのエージェント型コーディング負荷を再現します。公開資料では、データセットや実行方法をApache 2.0で公開し、結果のログや検証情報も確認できる設計としています。

1. 複数ターン

一つのセッションで、利用者とAIが数十回から数百回やり取りする状況です。前の出力が次の入力へ加わり、処理の依存関係が長くなります。

2. 長いコンテキスト

システム指示、ツール定義、資料、会話履歴が積み重なります。AgentXの公開データでは、入力長の中央値は約14万2,000トークンと報告されています。これは短いチャットとは異なる負荷です。

3. 高い前置き部分の再利用

会話が続くと、多くの入力内容は前回と共通します。計算済みの情報をKVキャッシュとして再利用できれば高速化できますが、必要なキャッシュが別の処理装置にあると、移動や再計算が発生します。

4. サブエージェントの集中起動

一つの依頼から複数の調査・作業エージェントが同時に起動すると、短時間に負荷が集中します。AgentXのデータでは、393セッションのうち175セッションが少なくとも一つのサブエージェントを含み、合計1,697回のサブエージェント実行が記録されています。

03. エージェント選定で見るべき六つの指標

1. タスク正常完了率

正答率だけでなく、必要な手順を終え、指定形式の成果物を返した割合を測ります。途中停止、人への引き継ぎ、誤ったツール操作は別に記録します。

2. エンドツーエンド完了時間

依頼を送ってから、検品可能な成果物ができるまでの実時間です。モデルの生成時間だけでなく、検索、ファイル処理、API、再試行を含めます。

3. 最初の応答と各ターンの待ち時間

最初の応答時間と、その後の生成間隔を分けて測ります。対話型の接客では最初の速さが重要ですが、バックオフィス業務では総完了時間を優先するなど、用途によって重みを変えます。

4. 再試行・ツール呼び出し回数

一件の成功に何回のモデル呼び出しと外部操作が必要だったかを確認します。結果が同じでも、再試行が多い構成は料金、遅延、外部サービス障害の影響が大きくなります。

5. キャッシュ利用率と入力の増え方

長いセッションでは、過去の文脈をどれだけ再利用できるかが重要です。入力トークン、キャッシュ済み入力、未キャッシュ入力を分けて記録し、履歴が増えたときの速度低下を確認します。

6. 成功一件当たりの総コスト

モデル料金だけでなく、外部API、再試行、人による確認と修正を加え、正常完了件数で割ります。最安モデルが、やり直しまで含めても最安とは限りません。

04. Jalapeñoの結果が示す「システム全体」の重要性

OpenAIは8月25日、初の推論向けカスタムチップJalapeñoを、GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tで測定した結果を公表しました。同社によると、比較対象の商用システムに対して、ピーク時に1ワット当たり1.5〜1.9倍のAI処理を行い、エンドツーエンドの待ち時間は1.7〜3.6倍短かったとしています。

重要なのは、チップ単体の演算速度だけでなく、メモリ、ネットワーク、キャッシュ、推論ソフトウェアを合わせて最適化した点です。長い履歴と複数ターンを扱うエージェントでは、データ移動や通信待ちが業務全体の速度を左右します。

ただし、この数値はOpenAIが公表した特定条件での測定結果です。すべてのモデルや企業業務で同じ差が出るわけではありません。また、OpenAIはJalapeñoを2026年末までに自社基盤へ初期導入する計画としており、現時点で一般企業が直接選べる製品ではありません。

05. 自社向け実務ベンチマークの作り方

代表的な業務を三種類選ぶ

評価用の質問集ではなく、実際に発生する業務を選びます。難易度と処理時間が異なる三種類から始めると比較しやすくなります。

短時間業務：問い合わせ分類、定型要約、情報抽出
中時間業務：競合調査、提案書の下書き、複数資料の比較
長時間業務：複数サイト調査、データ更新、制作物の生成と検査

合格条件と停止条件を先に決める

必須項目、参照元、ファイル形式、禁止事項を定義します。同時に、最大実行時間、再試行回数、費用上限、担当者へ引き継ぐ条件も設定します。無制限に試行させると、比較結果が安定しません。

同じ条件で複数回実行する

一回の成功例だけで判断せず、同じ業務を複数回実行します。入力資料、ツール権限、時間制限を揃え、中央値と失敗率を見ます。AIサービスは更新されるため、モデルや設定の変更後にも再テストします。

品質・速度・費用を一つの表で見る

品質だけ、料金だけの順位を作らず、正常完了率、完了時間、再試行、確認時間、総費用を並べます。業務ごとに優先順位を決めると、最上位モデルをすべてへ固定する必要はありません。

06. 部門別の評価シナリオ例

営業：企業情報を三つの一次情報で確認し、指定形式の提案メモを作る
マーケティング：競合記事を調べ、重複を避けた企画と参照URLを提出する
カスタマー対応：社内資料から回答案を作り、不明時は推測せず担当者へ引き継ぐ
経理：領収書を分類し、金額不一致や重複を例外一覧へ分ける
映像制作：要件から構成案を作り、尺、画角、禁止事項の不足を検査する
システム運用：障害ログを調査し、変更操作を行わず原因候補と確認手順を出す

どのシナリオでも、正しい回答だけでなく、根拠、禁止操作、未完了時の挙動を評価します。実務では「分からないときに安全に止まる」ことも性能の一部です。

07. 評価結果を読むときの注意点

公開ベンチマークの順位を、自社業務の順位と同一視しない
ベンダー公表値は、モデル、入力長、同時利用数、電力条件を確認する
平均値だけでなく、遅いケースと失敗ケースを見る
生成時間だけでなく、ツール処理と人の確認を含める
モデル更新、プロンプト変更、権限変更後に再評価する
品質向上のために処理量が増えすぎていないか確認する

国際エネルギー機関（IEA）は2026年4月、データセンターの電力需要が2025年に17％増えたと報告しています。AI一件当たりの効率が改善しても、利用量の拡大によって総消費は増える可能性があります。大量実行する業務では、費用だけでなく処理量と電力効率も継続的に確認する必要があります。

まとめ：AIは「問題を解けるか」から「仕事として完了できるか」へ

AgentX 1.0が示したのは、エージェント型AIの性能が、モデル単体ではなく、長い文脈、キャッシュ、ツール、サブエージェント、推論基盤を含むシステム全体で決まるという現実です。

企業がAIを選ぶ際は、公開ベンチマークを入口として使いながら、自社の代表業務を再現した小規模テストで、正常完了率、完了時間、再試行、確認時間、総費用を測る必要があります。

2026年のAI導入で差がつくのは、最も高いスコアのモデルを知っている企業ではなく、自社の仕事を正しく再現できる評価方法を持つ企業です。

【2026年8月最新】AI評価は「一問一答」から「業務の再現」へ：AgentXが変えるエージェント選定