はじめに:エージェントの自己申告を、何で確かめるか
AIエージェントに業務を任せるとき、いちばん怖いのは「できていないのに、できたと言う」ことです。返事は丁寧で、ツールも正しい形式で呼んでいる。それなのに、作業が終わったあとの顧客台帳や問い合わせチケットの中身を見ると、値が違っていたり、触ってはいけないレコードまで書き換わっていたりします。
2026年10月3日、Microsoft と Hugging Face は、この問題を正面から測るための評価環境 ThinkingBox と、その上に作ったベンチマーク ThinkingBox-Bench を公開しました。公式ブログの題は「The Agent Said It Was Done. The Database Disagreed.(エージェントは完了したと言った。データベースは同意しなかった)」です。
ThinkingBox の考え方は、次の1行に集約されます。
やり取り(軌跡)は主張にすぎない。データベースの状態が証拠。繰り返しが信頼性のテスト。
まず、公式ブログの冒頭にある事例を図にしました。左がエージェントのやったこと、右が2種類の採点方法です。上から順に、強調された箇所を追ってください。

図1:同じ1回の作業でも、「何をしたか」を見るか「何が残ったか」を見るかで合否が逆になる
この記事では、次の3つを順に扱います。
- 従来の評価の何が問題だったのか(返事・ツール呼び出し・1回の成功で採点していた)
- ThinkingBox で何ができるようになったのか(最終DBの照合と20回の反復、公式の結果と技術レポートの図)
- このMacで実際に動かしてどうだったか(Qwen3.8-27B をローカルで動かし、公式と同じタスクを繰り返し採点した結果)
想定読者は、社内の業務エージェントや問い合わせ対応ボットを作っている、または導入を検討している方です。LLM の基本(ツール呼び出し、プロンプト)が分かっていれば読めるように書きました。
この記事の確認範囲
- 公式情報:Hugging Face ブログ(2026-10-03)、技術レポート arXiv:2608.19741 v4(2026-10-01 版)、GitHub の
microsoft/thinkingbox・microsoft/thinkingbox-data(タグthinkingbox-bench-v1.0)・huggingface/OpenEnv - 検証環境:MacBook Pro(Apple M5 Max・メモリ128GB)、macOS(Darwin 25.6)、Docker Desktop 29.7、uv、Python 3.12、LM Studio(Qwen3.8-27B の MLX 4bit 版)
- 検証日:2026年10月5日
- 記事中の「公式の数字」はすべて公式ブログ・技術レポートからの引用です。「このMacでの結果」は筆者が実際に動かした数字で、両者は区別して書きます
従来のエージェント評価は、どこを見落としていたのか
よくある3つの採点方法
これまでのエージェント評価で広く使われてきた採点方法は、大きく3つに分けられます。
- 最後の返事を読んで採点する:LLM-as-a-Judge(LLMに採点させる方法)が、エージェントの最終メッセージを読んで「タスクを達成したか」を判定する
- ツール呼び出しの形を採点する:正しい関数を、正しい引数で呼べたかを見る。関数呼び出し系のベンチマークの多くがこの形です
- 1回成功すれば「できる」とみなす:1回の試行の成功率、あるいは k 回のうち1回でも成功すれば成功とする「ベスト・オブ・k」
どれも手軽で、研究の初期には十分役に立ちました。ただ、業務のデータを書き換えるエージェントに当てはめると、それぞれに大きな抜けがあります。

図2:従来の採点の見落としと、ThinkingBox での置き換え
見落とし① 言ったことと、やったことのずれ
返事を読んで採点する方法は、エージェントの自己申告を信じる方法です。冒頭の例のように「解決しました」と言っていても、実際にはチケットのステータスが間違っていることがあります。採点役の LLM はデータベースの中を見ていないので、この食い違いに気づけません。
見落とし② ツールは正しく呼んだのに、結果が違う
ツール呼び出しの形を採点する方法は、一歩進んで「何をしたか」を見ます。しかし業務では、正しい関数を呼んでも次のような失敗が起きます。
- 正しい更新ツールで、違う値を書いた(ステータスや金額の誤り)
- 正しい更新ツールで、違う相手を書き換えた(別の顧客、別の注文)
- 必要な更新の一部をやり忘れた
- 頼まれていない余計な更新もした(不要な返金、二重登録)
公式ブログはこれを「ツール呼び出しは結果ではない(A tool call is not an outcome)」という見出しで表現しています。
見落とし③ 1回できても、毎回できるとは限らない
業務の自動化で知りたいのは「このエージェントに毎回任せてよいか」です。返金処理を1回は正しくこなしても、次の4回で間違えるなら、返金エージェントとしては使えません。それなのに多くのリーダーボードは、1回あたりの成功率(pass@1)しか載せていません。
公式が示した「ずれ」の大きさ
公式ブログは、この見落としがどれほど大きいかを数字で示しています。12モデル・合計 121,680 回の有効な試行を同じ条件で比べた分析の結果です。
| 項目 | 値 |
|---|---|
| 判定に落ちた試行 | 79,853 回 |
| そのうち「見た目は正常終了」だった割合 | 67.24%(会話がきれいに終わり、更新系ツールを呼び、最後にツールエラーもない) |
| 落ちた試行で見つかった値の誤り | 77.61% |
| 落ちた試行で見つかった余計な副作用 | 43.30% |
| 落ちた試行で見つかった必要な更新の欠落 | 25.36% |
※ 値の誤り・余計な副作用・欠落は重なりがあるため、合計は100%を超えます。
つまり、失敗した回の 3分の2は、ログを眺めただけでは成功と見分けがつかないということです。返事やツール呼び出しで採点していたら、これらはすべて合格扱いになっていた可能性があります。
ThinkingBox と ThinkingBox-Bench の仕組み
2つの名前の関係
名前が似ているので、最初に整理しておきます。
| 名前 | 役割 | 公開場所 |
|---|---|---|
| ThinkingBox | エージェントを動かして採点するサンドボックス(隔離された実行環境)。会話の進行、ツールの実行、副作用の抽出、判定までを担う | GitHub microsoft/thinkingbox(MIT ライセンス) |
| ThinkingBox-Bench | ThinkingBox の上で動くベンチマーク(評価問題集)。5分野・507タスク | GitHub microsoft/thinkingbox-data(実行用)、Hugging Face データセット(閲覧用)。データは CDLA-Permissive-2.0 |
| OpenEnv 版 | ThinkingBox-Bench を Hugging Face の OpenEnv という共通インターフェースで使えるようにしたもの | huggingface/OpenEnv の envs/thinkingbox_env(BSD-3-Clause) |
技術レポートに載っている全体図が次のものです。左側(A)がサンドボックスの中身、右側(B)が使い道(ベンチマーク評価・失敗分析・強化学習)です。

公式図:ThinkingBox は対話・ツール実行・最終状態の判定を1つのループで回す(出典:Microsoft × Hugging Face ブログ Figure 1/技術レポート arXiv:2608.19741)
1回の試行(エピソード)の流れ
公式図は情報量が多いので、1回の試行で起きることを5段階に分けて描き直しました。番号の順に強調が移ります。

図3:ThinkingBox の1エピソード。最後に返るのは合格(1)か不合格(0)だけ
それぞれの段階を、もう少し詳しく見ます。
- 初期化:タスクごとに決められた初期状態(顧客、注文、チケット、保険契約など)をDBに流し込みます。試行ごとにまっさらな状態から始め、別の試行とDBの行やキャッシュを共有しません。20回の比較が意味を持つのはこのためです
- 会話:模擬ユーザー(LLM が演じる利用者)が最初の依頼を出します。予約番号や生年月日などの情報は聞かれたときだけ答えるよう指示されているので、エージェントは必要な情報を自分で聞き出す必要があります
- ツール実行:エージェントは MCP(Model Context Protocol、AIとツールをつなぐ共通の取り決め)のツールで検索や更新を行います。ツールの裏には業務システムを模したバックエンドとDBがあり、業務ルールの制約もかかっています
- 副作用の抽出:会話が終わったら、DBが実際にどう変わったかを取り出します
- 実行可能な判定:最終DBと副作用を、正解の状態と照合します。部分点はなく、すべての条件を満たしたときだけ合格です
公式ブログによると、507タスクのうち 477件はDBの状態だけで判定し、残りの 30件は「保証はできないと伝えたか」のような、DBに値として残らない要件を Yes/No の質問として LLM が追加で判定します。
また、エージェントに見えるのはタスク・会話・ツール定義だけで、正解のDB状態、判定のコード、模擬ユーザーが隠し持つ情報、認証情報は評価側から出しません。これを公式は「信頼の境界(trust boundary)」と呼んでいます。
合否はどう決まるのか(コードを読んで確認)
「最終DBを正解と照合する」とは、具体的に何をしているのでしょうか。thinkingbox-data の MCP サーバーのコードを読むと、5分野すべてで同じ方式になっていました。

図4:結果DBと正解DBのハッシュが一致すれば合格
ポイントは3つです。
- 正解DBはその場で作る:タスク定義の
golden_test_case(正解の操作列)を、同じ初期DBに再生して作ります。正解の「答え」を保存しておくのではなく、正しい手順を流した結果と比べる方式です - 自由記述は比べない:チケットの件名・説明文のように、正しくても毎回言い回しが変わる項目は
UnstableFieldという印が付いていて、ハッシュの計算から外されます。一方、更新時刻はツールが現実の時刻ではなく固定の値を書き込むので、同じ更新をすれば毎回同じになります。言い回しは自由、ステータスや金額の値は厳密、という線引きです - 差分は説明用:ハッシュが違うと、どの表のどの項目が違うかの一覧(diff)が付きます。ただし合否を決めるのはハッシュで、差分は「なぜ落ちたか」を読むためのものです
冒頭の事例(タスク ST003_006)の判定コードは、実際にはこれだけです。
def test_case_ST003_006(x: TestContext, judge: Judge):
# (タスクの説明・初期DB・正解の操作列は docstring に YAML で書かれている)
validate_database(x) # 結果DBと正解DBのハッシュが違えば assert で不合格
正解の操作列を見ると、最後にチケットを status: hold(保留)に更新する手順が入っています。配送業者の例外が解決していない以上、「解決済み」で閉じてはいけない、という業務ルールがDBの値として表現されているわけです。
この方式の良いところは、手順の違いを許しつつ、結果の違いは許さないことです。ツールを呼ぶ順番や回数はエージェントの自由で、同じ最終状態にたどり着けば合格になります。一方、対象外のレコードを1件でも書き換えれば、ハッシュが変わって不合格になります。
5つの業務分野
ThinkingBox-Bench v1.0 の507タスクは、次の5分野に分かれています(技術レポート Table 2 より)。
| 分野 | タスク数 | 業務システム数 | 更新系/参照系ツール | ポリシー文書の長さ | 1タスクあたりの操作数 | 判定 |
|---|---|---|---|---|---|---|
| 小売・EC | 98 | 11 | 16 / 17 | 945語 | 4.4(1〜10) | DB |
| 旅行・宿泊 | 104 | 8 | 10 / 28 | 3,684語 | 8.8(4〜19) | DB+Yes/No |
| 自動車保険 | 100 | 7 | 14 / 19 | 2,471語 | 4.7(1〜11) | DB |
| ネット銀行の社内IT | 104 | 3 | 13 / 19 | 3,392語 | 6.7(3〜12) | DB+Yes/No |
| コンサル会社の IT・人事 | 101 | 18 | 13 / 14 | 1,747語 | 5.8(1〜13) | DB |
どの分野も「利用者の情報が最初は足りない」「ポリシーでできることが制限される」「正しいレコードだけを更新する必要がある」という、実務でよくある難しさを含むように作られています。なお、タスクはすべて合成データで、実在の顧客は含まれていません。
3つの数字:pass@1・pass@20・20/20
ThinkingBox-Bench は、すべてのタスクを 20回ずつ、毎回まっさらなDBから実行します。そのうえで、次の3つの数字を分けて報告します。
| 指標 | 何を数えるか | 答える問い |
|---|---|---|
| pass@1 | 全試行のうち合格した割合 | たいていはどれくらいできる? |
| pass@20 | 20回中1回でも合格したタスクの割合 | そもそもできることがある?(幅) |
| 観測 20/20 | 20回すべて合格したタスクの数 | 毎回任せられる?(信頼性) |
3つの違いを、架空の結果で図にしました。

図5:同じ結果でも、pass@20 では100%、20/20 では20%。どの列を見るかで印象が大きく変わる
ブログで使っている「観測 20/20」は、推定式を使わず、実際に20回すべて合格したタスクを数えた値です。技術レポートでは、これとは別に pass^20 という推定値(20回すべて成功する確率の推定)も載せています。両者は計算方法が違うので、数字が少しずれます(例:Qwen3.8-27B は観測 20/20 が 7.50%、pass^20 の推定は 10.93%)。
公式の結果:1回の正解と、毎回の正解は別の能力
pass@1 のランキング
まず、よく目にする pass@1 です。公式ブログの表から、上位と主なモデルを抜き出しました(全18モデル、各タスク20回)。
| モデル | 小売 | 自動車保険 | 旅行 | ネット銀行 | コンサル | 全体 |
|---|---|---|---|---|---|---|
| Claude Opus 5.5 | 80.97 | 68.40 | 54.28 | 71.25 | 61.58 | 67.16 |
| Claude Opus 5 | 80.71 | 65.80 | 49.95 | 70.62 | 66.19 | 66.50 |
| GPT-5.4 | 76.33 | 62.65 | 68.12 | 65.34 | 54.60 | 65.36 |
| GPT-5.6 Sol | 67.65 | 65.30 | 60.34 | 59.09 | 57.52 | 61.91 |
| Claude Sonnet 4.6 | 72.35 | 54.40 | 58.94 | 56.39 | 54.31 | 59.19 |
| GPT-6 Astra | 71.73 | 46.55 | 55.87 | 60.87 | 56.83 | 58.31 |
| Kimi-K3(公開重み) | 82.24 | 50.80 | 61.83 | 41.35 | 51.63 | 57.37 |
| Qwen3.8-27B(公開重み) | 64.03 | 47.85 | 53.41 | 47.88 | 45.69 | 51.70 |
| DeepSeek-V4-Pro(公開重み) | 68.21 | 29.65 | 43.13 | 44.86 | 31.04 | 43.26 |
単位は%。首位は Claude Opus 5.5 の 67.16% で、公開重み(モデルの重みが公開されていて手元で動かせる)モデルの首位は Kimi-K3 の 57.37% です。分野による差も大きく、たとえば Claude Opus 4.6 は小売で 68.62% なのに、自動車保険では 8.30% まで下がります。
20回やると、どれだけ残るか
ここからが ThinkingBox の本題です。同じタスクを20回繰り返したとき、1回あたりの成功率のうち、どれだけが「毎回の成功」として残るかを示したのが次の公式図です。

公式図:1回の成功率(薄い棒)のうち、20回すべての成功(濃い棒)として残る割合は、モデルによって71〜78%から8%まで大きく違う(出典:公式ブログ Figure 2)
成功率の大部分を保てたのは3モデルだけでした。GPT-6 Astra が78%、Claude Opus 5.5 と Claude Opus 5 がそれぞれ71%です。一方、GLM-5.1・Kimi-K2.6・DeepSeek-V4-Pro はおよそ8%しか残りません。
「幅」と「信頼性」は逆を向くことがある
さらに印象的なのが、pass@20(幅)と 20/20(信頼性)を2軸にとった次の図です。

公式図:右に行くほど「いつかは解ける」、上に行くほど「毎回解ける」。Kimi-K3 と Claude Opus 5 は正反対の位置にいる(出典:公式ブログ Figure 3)
数字で並べると、違いがはっきりします。
| Kimi-K3 | Claude Opus 5 | Claude Opus 5.5 | |
|---|---|---|---|
| 1回でも解けたタスク(pass@20) | 476 / 507(93.89%) | 401 / 507(79.09%) | Opus 5 より多い |
| 一度も解けなかったタスク | 31 | 106 | — |
| 20回すべて解けたタスク | 68(13.41%) | 241(47.53%) | 241(47.53%) |
Kimi-K3 は「いつかは解ける」タスクが最も多いモデルですが、毎回解けるタスクは68件だけです。逆に Claude Opus 5 は、1回でも解けるタスクは75件少ないものの、毎回解けるタスクは173件多くなります。
もう1つ面白いのが、Claude Opus 5.5 と Opus 5 の比較です。Opus 5.5 は pass@1 で 0.66 ポイント上回り、1回でも解けるタスクも増えましたが、20回すべて解けたタスクは同じ241件でした。見出しの精度の向上が、そのまま信頼性の向上にはなっていないということです。
公式ブログの結論は明快です。実際の記録に触れる仕事のためにモデルを選ぶなら、pass@20 は見るべき列ではない、と。
費用:安い正解と、安い「毎回の正解」は違う
公式は、モデルの費用も2通りで比べています(OpenRouter の割引なし定価、2026年9月20日時点。エージェント本体の推論費だけで、模擬ユーザーや判定役の費用は含まない推定値です)。
1つ目は「成功1回あたりの費用」で、1回分(507試行)の推定費用を、成功した試行数(507 × pass@1)で割ったものです。

公式図:成功1回あたりの費用と pass@1。丸で囲まれた3モデルが、ほかのモデルより安くて正確な位置にいる(出典:公式ブログ Figure 4)
2つ目が「毎回成功するタスク1件あたりの費用」で、20回分の推定費用を、20回すべて合格したタスク数で割ったものです。
| モデル | 20/20 のタスク数 | 20回分の推定費用 | 毎回成功タスク1件あたり |
|---|---|---|---|
| GPT-5.4 | 128(25.25%) | 869.80ドル | 6.80ドル |
| GPT-6 Astra | 231(45.56%) | 1,720.60ドル | 7.45ドル |
| Claude Opus 5.5 | 241(47.53%) | 1,880.77ドル | 7.80ドル |
| GPT-5.6 Sol | 82(16.17%) | 800.00ドル | 9.76ドル |
| Claude Opus 5 | 241(47.53%) | 3,206.00ドル | 13.30ドル |
| Claude Sonnet 4.6 | 102(20.12%) | 1,587.60ドル | 15.56ドル |
| Kimi-K3 | 68(13.41%) | 1,406.40ドル | 20.68ドル |
| Qwen3.8-27B | 38(7.50%) | 925.80ドル | 24.36ドル |
成功1回あたりでは最安だった GPT-5.6 Sol(0.127ドル)が、毎回成功タスク1件あたりでは9.76ドルになり、GPT-5.4・GPT-6 Astra・Claude Opus 5.5 に抜かれます。「安く正解を出す方法」と「安く信頼できる正解を出す方法」は別物だ、というのが公式のまとめです。
失敗の8割は「ツールの扱い」
最後に、失敗した試行の内訳です。公式は失敗した試行ごとに、メッセージ・ツール呼び出し・ツールの応答などから機械的に1つの「失敗の型」を割り当てています。
| 失敗の型 | 失敗に占める割合(モデル平均) | 中身 |
|---|---|---|
| ツールの扱い | 79.9% | ツールのエラー、前提条件の失敗、空の検索結果から立て直せない。成功したかのように進めてしまうことも含む |
| 誤った状態更新 | 10.3% | 更新は実行したが、違うレコードや違う値になった |
| 利用者対応の未完了 | 7.0% | 更新を試みたが、返事が不完全・矛盾、必要な確認が抜けた |
| 状態を変える操作なし | 2.9% | 情報は集めたが、必要な作成・更新・取消・返金をしなかった |
公式は、この結果を「推論の問題である前に、再試行とエラー回復の問題だ」とまとめています。モデルの賢さだけでなく、ツールのエラーをどう返し、エージェントがどう立て直すかというハーネス(エージェントを動かす周辺の仕組み)の設計が、成否を大きく左右するということです。
このMacで動かしてみた
ここからは、筆者の Mac で ThinkingBox-Bench を実際に動かした記録です。公式の検証環境は Linux と WSL で、Mac は公式には対象外です。それでも動くのか、動くならローカルモデルでどんな結果になるのかを確かめました。
構成:すべてローカルで完結させる
エージェントには、公式のランキングにも載っている Qwen3.8-27B を選びました。LM Studio で動かせる公開重みモデルで、公式の結果(pass@1 51.70%、20/20 は38タスク)と比べられるからです。模擬ユーザーと判定役も同じモデルにして、外部 API を一切使わない構成にしました。

図6:今回組んだ構成。4つのサービスを立ち上げ、tb infer から試行を流す
公式の論文では、Qwen 系モデルは vLLM(高速な推論サーバー)で動かし、模擬ユーザーには GPT-5.4-mini を使っています。今回は手元で完結させるために条件を変えているので、数字は公式と直接比べられるものではありません。違いは次のとおりです。
| 項目 | 公式(技術レポート Table 9・10) | 今回 |
|---|---|---|
| エージェント | Qwen3.8-27B(vLLM、温度1.0、推論の強さ medium、上限4096トークン) | Qwen3.8-27B MLX 4bit 量子化版(LM Studio、ほかは同じ) |
| 模擬ユーザー | GPT-5.4-mini(温度0.3、思考なし) | Qwen3.8-27B(温度0.3、思考なし) |
| 判定役(Yes/No 質問のみ) | 温度0、上限128トークン | Qwen3.8-27B(温度0、思考なし、上限128トークン) |
| タスク数・反復 | 507タスク × 20回 | 3タスク × 5回(+試走1回)。6タスクで始め、時間の都合で打ち切り |
手順1:リポジトリとツールを入れる
公式の手順は Ubuntu/WSL 向けですが、Mac でもほぼそのまま通りました。3つのリポジトリを同じフォルダに並べて取得します。
# 作業フォルダ(場所は任意)
mkdir -p ~/thinkingbox-lab && cd ~/thinkingbox-lab
# 1. OpenEnv(ThinkingBox 環境のアダプター)
git clone https://github.com/huggingface/OpenEnv
# 2. ベンチマーク本体(タスク・MCP サーバー)を固定版で
git clone https://github.com/microsoft/thinkingbox-data
git -C thinkingbox-data checkout thinkingbox-bench-v1.0
# 3. フレームワーク(tb コマンド)
git clone https://github.com/microsoft/thinkingbox
次に、ThinkingBox 本体の仮想環境を作り、ベンチマーク用の MCP サーバーのパッケージを同じ環境に入れます。ここを別々の環境にすると、MCP サーバーがツールを読み込めません。
cd ~/thinkingbox-lab/thinkingbox
uv venv --python 3.12
uv sync --group dev
# ベンチマーク用 MCP サーバーを同じ venv に入れる
uv pip install --config-settings editable-mode=compat \
-e ../thinkingbox-data/servers/tb_business_ops_servers_202606
# OpenEnv 側の依存関係(OpenEnv 経由で動かす場合)
cd ../OpenEnv && uv sync --project envs/thinkingbox_env --frozen
手順2:Typesense と MCP Session Proxy を起動する
Typesense は、ポリシー文書を検索するための検索エンジンです。公式のインストールスクリプトは Linux 向けなので、Mac では Docker で動かしました。Docker Desktop を起動してから実行します。
cd ~/thinkingbox-lab
mkdir -p .typesense-data
docker run --rm -d --name thinkingbox-typesense \
-p 8108:8108 \
-v "$PWD/.typesense-data:/data" \
typesense/typesense:30.1 \
--data-dir /data --api-key=Fake --enable-cors
# {"ok":true} が返るまで待つ(起動直後は 503 が返ることがある)
until curl -fsS http://127.0.0.1:8108/health; do sleep 1; done
API キーの Fake は、ベンチマーク側の設定がこの値を前提にしているためで、本物の鍵ではありません。
続いて、MCP Session Proxy(試行ごとに MCP サーバーを起動・破棄する中継役)を別のターミナルで起動します。THINKINGBOX_DATA を付けないと、一部のツールが補助データを見つけられないという警告が出ます。
cd ~/thinkingbox-lab/thinkingbox
THINKINGBOX_DATA="$PWD/../thinkingbox-data" TYPESENSE_API_KEY=Fake \
.venv/bin/tb mcp-start --host 127.0.0.1 --port 7111 \
--servers ../thinkingbox-data/servers/servers.yaml
# 別のターミナルで確認(OK が返れば成功)
curl -fsS http://127.0.0.1:7111/health
手順3:LM Studio でモデルを用意し、設定ファイルを書く
LM Studio のローカルサーバーを起動し、Qwen3.8-27B を読み込みます。--parallel は同時に処理するリクエスト数です。
lms server start
lms load qwen/qwen3.8-27b --context-length 65536 --parallel 6 --identifier qwen3.8-27b -y
ThinkingBox には、エージェント・模擬ユーザー・判定役の3つのモデルを YAML で指定します。LM Studio は OpenAI 互換の Chat Completions API を持っているので、公式ガイドの「OpenAI-compatible chat completions」の書き方がそのまま使えます。
# thinkingbox-lmstudio.yaml
mcp_proxy:
endpoint_url: "http://127.0.0.1:7111"
timeout: 300.0
orchestrator:
type: thinkingbox
agent_model: # 評価されるエージェント
type: aoai
deployment: "qwen3.8-27b"
endpoint_url: "http://127.0.0.1:1234/v1/chat/completions"
is_reasoning: true # 思考(reasoning_content)を受け取る
reasoning_effort: medium
temperature: 1.0
max_completion_tokens: 4096
timeout: 1200.0
judge_model: # Yes/No 質問の判定役
type: aoai
deployment: "qwen3.8-27b"
endpoint_url: "http://127.0.0.1:1234/v1/chat/completions"
is_reasoning: true # ← reasoning_effort を送るために true にする
reasoning_effort: "none" # LM Studio ではこれで思考が止まる
temperature: 0.0
seed: 42
max_completion_tokens: 128
timeout: 1200.0
judge_type: "legacy"
user_model: # 模擬ユーザー
type: aoai
deployment: "qwen3.8-27b"
endpoint_url: "http://127.0.0.1:1234/v1/chat/completions"
is_reasoning: true
reasoning_effort: "none"
temperature: 0.3
max_completion_tokens: 4096
timeout: 1200.0
ここに1つ落とし穴がありました。Qwen3.8 は既定で「考えてから答える」モデルなので、判定役の上限128トークンを思考だけで使い切る恐れがあります。LM Studio では reasoning_effort: "none" を送ると思考が止まることを事前に確かめました(同じ質問で、思考ありは64トークン・2.4秒、思考なしは4トークン・0.3秒)。ところが ThinkingBox は、is_reasoning: true のときにしか reasoning_effort を送りません。そのため、判定役と模擬ユーザーも is_reasoning: true にしたうえで "none" を指定しています。
手順4:公式の冒頭事例と同じタスクを1回解かせる
準備ができたら、冒頭の事例と同じタスク ST003_006 を1回だけ実行します。
cd ~/thinkingbox-lab/thinkingbox
THINKINGBOX_DATA="$PWD/../thinkingbox-data" \
.venv/bin/tb infer -c ../thinkingbox-lmstudio.yaml \
--dataset ../thinkingbox-data/dataset --agent think \
--name sandbox_external_retail_group1.py:test_case_ST003_006 \
--output ../runs/smoke_ST003_006.yaml
# 会話と判定を読みやすく表示する
.venv/bin/tb pp ../runs/smoke_ST003_006.yaml
1回の試行に 8分(479秒)かかり、判定は不合格でした。時間の内訳は、エージェントの推論が457秒、模擬ユーザーが11秒、ツールの実行が0.4秒、判定が0.5秒です。ほぼすべてがモデルの推論時間で、ThinkingBox 自体はほとんど時間を使っていません。
面白いのは、その落ち方です。記録を読むと、公式の事例とは違う道筋で、やはり「完了したように見えて、DBは違う」状態になっていました。

図7:このMacでの1回目。返事は筋が通っているが、DBには重複チケットと放置されたチケットが残った
ポイントは2番目の段階です。エージェントは顧客の既存チケットを requester_id eq 10 という条件で検索しました。ところが、このシステムのIDは文字列なので、正しくは requester_id eq '10' です。同じ条件を手で試すと、数値では0件、文字列ではチケット #20 が返ってきました。
requester_id eq 10 -> {"items": []}
requester_id eq '10' -> {"items": [{"id": "20", "status": "solved"}]}
エージェントは「既存チケットはない」と判断して新しいチケットを作り、本来「保留」にすべきチケット #20 には一度も触れませんでした。それでも最後の返事は「配送業者が例外を解消するまで案件は継続します。今は何もしなくて大丈夫です」と、もっともらしい内容です。tb pp が表示した差分は次の4件でした(実際の出力から抜粋)。
AssertionError: Database hash after test execution does not match expected golden hash
Found 4 difference(s):
1. Path: zendesk_tickets Type: length mismatch Result: 7 Golden: 6
2. Path: zendesk_tickets[2].status Type: value mismatch Result: "solved" Golden: "hold"
3. Path: zendesk_tickets[2].updated_at Type: value mismatch Result: "2025-09-25T16:30:00Z" Golden: "2025-10-01T13:00:10Z"
4. Path: zendesk_tickets[6] Type: present in result (missing in golden)
公式ブログが「失敗の約8割はツールの扱い。空の検索結果などから立て直せない」と書いていたのは、まさにこういう失敗です。返事を読むだけの採点なら、この回は合格になっていたかもしれません。
なお、更新時刻(updated_at)も比較対象に入っていますが、ツールが現実の時刻ではなく固定の値(2025-10-01T13:00:10Z)を書く作りになっているので、同じ更新をすれば毎回同じ値になります。差分3は「#20 を更新しなかった」ことの裏返しです。
手順5:OpenEnv 経由でも動かす
公式ブログが案内している OpenEnv 経由の起動も試しました。OpenEnv は Hugging Face が進めている強化学習・評価用の環境の共通インターフェースで、reset(タスク開始)、call_tool(ツール実行)、submit_message(返事を送る)といった操作をネットワーク越しに呼べます。
cd ~/thinkingbox-lab/OpenEnv
L=~/thinkingbox-lab
THINKINGBOX_DATA="$L/thinkingbox-data" \
OPENENV_TB_DATASET="$L/thinkingbox-data" \
OPENENV_TB_CONFIG="$L/thinkingbox-lmstudio.yaml" \
uv run --project envs/thinkingbox_env --frozen server
# 別のターミナルで準備完了を確認
curl -sS http://127.0.0.1:8000/ready
最初は OPENENV_TB_DATASET を付けずに起動したため、/ready が 503 と "data": false を返しました。OpenEnv は既定で固定版のデータをキャッシュから探すので、手元のチェックアウトを使うときはこの変数で場所を教える必要があります。指定後は次のように 200 が返りました。
{"ready":true,"data":true,"runtime_config":true,"user_model":true,"judge_model":true,
"session_proxy":true,"typesense":{"observable":false,"ready":null,
"limitation":"Scenario-specific Typesense readiness is not observable from the OpenEnv process."}}
Typesense の準備状況だけは OpenEnv からは見えない、と正直に書かれている点が好印象です。公式の例 example_usage.py を実行すると、タスクの最初の依頼文と、エージェントが使える34個のツール(小売ドメインの33個+プロンプトインジェクションを報告するための1個)が表示されました。
手書きの4つの「エージェント」で採点の挙動を確かめる
OpenEnv の便利なところは、LLM を使わなくても、ツール呼び出しを自分で順に送れることです。そこで、採点が本当に「DBの最終状態」だけで決まるのかを確かめるため、同じタスク ST003_006 に対して、動きを決め打ちした4つの「エージェント」を書きました(スクリプトは記事フォルダの lab/scripted_demo.py)。
4つとも、顧客情報・ユーザー・チケット・注文・配送状況を同じように5回参照し、最後に丁寧に完了を伝えます。違うのは、DBへの更新と返事の中身だけです。

図8:手順の違いは許し、余計な副作用は落とす。ただし、DBだけで判定するタスクでは返事の嘘は採点されない
実行結果はこうでした(3回実行して、毎回同じ結果)。
A: closes the ticket as solved | fail 0.0 | 2.8 s
B: puts the ticket on hold (one update, golden uses two) | pass 1.0 | 5.0 s
C: hold + unrequested $50 goodwill refund | fail 0.0 | 5.5 s
D: right DB, wrong words | pass 1.0 | 5.5 s
ここから分かることを3つにまとめます。
- 手順は自由:正解の操作列はチケットを open → hold と2回更新しますが、B のように1回で hold にしても合格です。順番や回数ではなく、最後の状態が見られています
- 余計な副作用は落ちる:C は顧客の気持ちを考えて50ドルを返金しましたが、ポリシー上その返金は求められていません。返金テーブルに1行増えただけで不合格になります
- 返事の正しさは見ていない:D は「745ドルを全額返金した」と事実と違うことを言っていますが、DBが正しいので合格です。技術レポートも、DBだけで判定するタスクの合格率は「正しくポリシーに沿った最終状態」を測るもので、利用者への説明の正確さまでは測っていないと明記しています(そのために30タスクだけ Yes/No の質問を追加しています)
D の結果は、ThinkingBox の弱点というより「何を測っているか」の線引きです。業務で使うなら、DB照合と、返事の中身を確かめる仕組み(必要な告知をしたか、事実と違うことを言っていないか)を組み合わせるのがよさそうです。
同じタスクを5回ずつ繰り返した結果
最後に、ThinkingBox の核心である「繰り返し」を手元で試しました。当初は5分野から6タスクを選んで各5回の予定でしたが、1試行に30分前後かかり全部では5時間を超える見込みになったため、3タスク × 5回(計15試行)がそろった時点で打ち切りました。旅行・ネット銀行・コンサルの3タスクは未実施です。
# タスク一覧(YAML)を渡し、各タスクを5回、6本並列で実行
THINKINGBOX_DATA="$PWD/../thinkingbox-data" \
.venv/bin/tb infer -c ../thinkingbox-lmstudio.yaml \
--dataset ../thinkingbox-data/dataset --agent think \
--test-list ../tasks6.yaml --repeat 5 --batch-size 6 --timeout 0 \
--output ../runs/main_6x5.jsonl
結果は次のとおりです。

図9:このMacでの実測。同じモデル・同じタスクでも、回によって合否が変わる
| 指標 | このMacの結果(3タスク × 5回) |
|---|---|
| pass@1(全15試行のうち合格) | 7 / 15 = 46.7% |
| 5回中1回でも合格したタスク(pass@5) | 3 / 3 |
| 5回すべて合格したタスク(5/5) | 1 / 3(ST002_001 だけ) |
| 1試行の所要時間(6本並列時) | 中央値 2,101秒(約35分)、最短 1,305秒、最長 5,574秒 |
| 1試行のツール呼び出し | 中央値13回(0〜20回) |
| エージェントの出力トークン | 1試行の中央値 4,867(計 92,733) |
タスク数が3つしかないので、pass@1 の46.7%を公式の51.70%と比べることには意味がありません。それでも、この小さな実験からは公式の主張と同じ形がはっきり見えました。3つのタスクはすべて「1回は解ける」のに、「毎回解ける」のは1つだけです。もし各タスクを1回だけ試して、たまたま合格の回を引いていたら、「このモデルは3タスクとも解ける」と結論していたはずです。
不合格の中身を読む
ThinkingBox の差分を1回ずつ読むと、失敗の理由がかなり具体的に分かります。
小売 ST003_006(冒頭の事例、1/5):唯一合格した4回目だけが、既存チケットを requester_id eq '10'(文字列)で検索してチケット #20 を見つけ、更新していました。不合格の2・3・5回目は、試走のときと同じく requester_id eq 10(数値)で検索して0件になり、新しいチケット #7 を作っています。5回目は最後に #7 を「hold(保留)」にまで直していましたが、正しいステータスを違うチケットに付けたので不合格です。合否を分けたのは、引用符の有無という1か所でした。
ちなみに、技術レポートの付録に載っている同じタスクの失敗例(モデル名は書かれていません)でも、「チケットの検索結果が0件 → チケット #7 を作成 → 解決済みで閉じる」という流れになっています。モデルが違っても同じ落とし穴にはまっているのは興味深い点です。
自動車保険 bil_001(1/5):顧客が支払期限の延長を頼むタスクです。ポリシー文書には「延長は一律10日(新しい期限=今日+10日)」と書かれており、正解は10月11日です。ところが不合格の回では、顧客が「10月10日にしてほしい」「10月15日まで」「あと7日」と言い、エージェントはその日付どおりに延長していました。ポリシーより顧客の希望を優先したことが直接の原因です。4回目は日付こそ10月11日で正しかったものの、チケットの effective_date_of_change という項目に、本来空のはずのところへ "str" という文字列を書き込んでいて不合格になりました。
小売 ST002_001(5/5):配送遅延の問い合わせに、チケットを作って「解決済み」にするタスクです。5回とも同じ最終状態にたどり着きました。
注意:模擬ユーザーの質も結果を左右する
今回の検証でいちばん大きな学びは、エージェントではなく模擬ユーザーにありました。
1つ目は、ST003_006 の1回目です。エージェントが注文番号とメールを尋ねると、模擬ユーザーは「I don’t know」を8回繰り返し、エージェントは何も調べられないまま会話を終えました。模擬ユーザーの設定にはメールアドレスも注文番号も書かれています。同じ入力を ThinkingBox の既定のプロンプトのまま思考なしの Qwen3.8-27B に送ると、3回とも「I don’t know」が返りました(会話を終えられる版のプロンプトでは正しく答えます)。
2つ目は、自動車保険タスクの希望日です。模擬ユーザーの設定には希望日が書かれていないのに、模擬ユーザーは「10月10日」「10月15日」「あと7日」と、設定にない数字を自分で作って伝えていました。エージェントがポリシーを守っていれば防げた失敗ではありますが、公式の模擬ユーザー(GPT-5.4-mini)ならそもそも起きなかった可能性があります。
技術レポートも、模擬ユーザーが設定にない情報を混ぜる問題を認識していて、19,390の発話を2つのLLMと人手で監査しています(自動判定で、設定や会話に根拠のない重要な主張・矛盾を含む発話は全体の6.33%)。今回のように模擬ユーザーまで手元の小さめのモデルで代用すると、この割合が大きく上がり、エージェントの実力ではなく模擬ユーザーの弱さで点数が下がることがあります。自分で評価環境を作るときも、模擬ユーザーの発話が設定に忠実かどうかを抜き取りで確認しておくことをおすすめします。
かかった時間とコスト
外部 API は使っていないので、費用はかかっていません。代わりに時間がかかりました。
| 作業 | 時間 |
|---|---|
| 環境構築(3リポジトリの取得、依存関係、Typesense、MCP、LM Studio) | 約15分 |
| 試走1回(並列なし) | 8分 |
| 本番15試行(6本並列、途中で打ち切り) | 約2時間15分 |
1試行の時間はほぼすべてエージェント(Qwen)の推論で、模擬ユーザーは中央値50秒、ツールの実行と判定は1秒未満でした。公式のように507タスク × 20回(10,140試行)をこのMacで回すのは現実的ではありません。手元で試すなら、自社の業務に近い数タスクに絞って繰り返すか、API 経由の高速なモデルを使うのが現実的です。
自社の業務エージェントにどう生かすか
ThinkingBox-Bench そのものは、公開された5分野の合成タスクです。自社の業務にそのまま当てはまるわけではありません。それでも、評価の作り方はそのまま持ち込めます。公式ブログの提言を、手を動かす順番に並べ替えたのが次の図です。

図10:左は評価の作り方、右は本番の作り方
評価側:最終状態の照合を足すだけでも効く
いきなり ThinkingBox 一式を自社に合わせて作り直す必要はありません。いま LLM-as-a-Judge で採点しているなら、そこに「最終DBの照合」を1つ足すだけでも、見えるものが大きく変わります。考え方を確かめるために、標準ライブラリだけで書いた最小の例を用意しました(記事フォルダの lab/state_check_example.py、このMacの Python 3 で実行確認済み)。
import hashlib, json, sqlite3
UNSTABLE = {"tickets": {"note", "updated_at"}} # 比べない列(自由記述・時刻)
def snapshot(db: sqlite3.Connection) -> dict:
"""全テーブルを、不安定な列を除いた辞書にする"""
state = {}
for (table,) in db.execute("SELECT name FROM sqlite_master WHERE type='table' ORDER BY name"):
cur = db.execute(f"SELECT * FROM {table} ORDER BY 1")
cols = [c[0] for c in cur.description]
skip = UNSTABLE.get(table, set())
state[table] = [{c: v for c, v in zip(cols, row) if c not in skip} for row in cur]
return state
def digest(state: dict) -> str:
return hashlib.sha256(json.dumps(state, sort_keys=True).encode()).hexdigest()
# 使い方:試行ごとにまっさらなDBを作り、
# 正解の操作を流したDB と エージェントが操作したDB の digest を比べる
# 違えば、どの表のどの列が違うかを出力する
ファイル全体では、チケットを「解決済み」で閉じるエージェント、文面は違うが「保留」にするエージェント、保留にしたうえで頼まれていない返金もするエージェントの3つを比べています。実行結果は次のとおりで、ThinkingBox と同じ判定になりました。
不合格 解決済みで閉じる
- tickets[0].status: 'solved'(正解 'hold')
合格 保留にする(文面は違う)
不合格 保留+頼まれていない返金
- refunds: 行数 1(正解 0)
自社の評価に入れるときのコツは3つです。
- テーブル全体を比べる:対象のレコードだけを見ると、余計な更新(別の顧客の書き換え、不要な返金)を見逃します。比べる範囲は、エージェントが触れるテーブル全部にします
- 比べない列を明示する:自由記述、時刻、自動採番のIDなどは、正しくても毎回変わります。比べない列を一覧にして、それ以外は厳密に比べます。時刻は ThinkingBox のように固定値にしてしまう手もあります
- 繰り返しの回数と数え方を書く:「5回中5回成功」なのか「5回中1回でも成功」なのかで意味がまったく違います。公式も、k 回の繰り返しを報告するときは「全回成功か、1回でも成功か」と計算方法を明記するよう勧めています
本番側:評価の結果を設計に返す
公式ブログは、本番のエージェントにも同じ考え方を使うよう提案しています。
- 確定する前に最終状態を確認する:モデルの「できました」ではなく、書き込んだレコードを読み直して期待どおりかを確かめる
- エラーを分類して、直せるものだけ再試行する:失敗の約8割は「ツールの扱い」でした。今回の Qwen の例でいえば、「検索結果が0件」のときに条件の型を疑って検索し直すだけで、結果が変わった可能性があります
- ツールは業務に必要な分だけ渡す:小売ドメインではエージェントに33個のツールが見えていました。使える更新系ツールが少ないほど、余計な副作用は起きにくくなります
- 取り消せない変更は人が承認する:返金・解約・権限付与などは、実行前に人の確認を挟む
公式ブログは、これらの対策の効果を「このベンチマークではまだ測っていない」と正直に書いています。逆にいえば、ThinkingBox はまさにその効果を測る道具として使えます。同じタスクを、対策の前と後で20回ずつ回して比べればよいからです。
トラブルシューティング
今回の Mac での作業で引っかかった点と、事前に調べて避けた点をまとめました。上から順に確認してください。

図11:症状(左)と直し方(右)。最後に3つのポートが順に OK を返せば準備完了
| 症状 | 原因 | 対処 |
|---|---|---|
docker run が docker.sock に接続できない | Docker Desktop が起動していない | open -a Docker で起動してから実行 |
| Typesense の health が 503 | 起動直後 | 数秒待つと {"ok":true} になる |
THINKINGBOX_DATA not defined の警告 | 環境変数の付け忘れ | THINKINGBOX_DATA=<thinkingbox-data の場所> を付けて tb mcp-start |
| MCP サーバーのツールが見つからない | サーバーのパッケージが別の環境に入っている | tb と同じ venv に tb_business_ops_servers_202606 を入れる |
OpenEnv の /ready が 503("data": false) | 固定版データのキャッシュがない | OPENENV_TB_DATASET に手元の thinkingbox-data を指定 |
| 判定役の出力が空・途中で切れる(予防) | 思考型モデルが上限128トークンを思考で使い切る | is_reasoning: true と reasoning_effort: "none" を両方書く |
No new results in the last 120 seconds が続く | ローカルモデルでは1試行に数分〜十数分かかる | 異常ではない。--timeout 0 を付け、長い実行は nohup で端末から切り離す |
OpenEnv のサーバーログに WebSocketDisconnect | クライアントが終了時に接続を閉じた | 結果には影響なし |
まとめ
この記事では、Microsoft と Hugging Face が公開した ThinkingBox / ThinkingBox-Bench を、従来の評価の課題と比べながら紹介し、このMacで実際に動かしました。要点を振り返ります。
- 従来の課題:返事・ツール呼び出し・1回の成功で採点すると、「完了したと言ったのに、DBは違う」失敗を見逃す。公式の分析では、失敗した試行の67.24%は見た目には正常終了していた
- ThinkingBox でできるようになったこと:最終DBと副作用を正解と機械的に照合し、同じタスクを20回、毎回まっさらな状態から繰り返して「1回できる」と「毎回できる」を分けて測れる
- 公式の結果:pass@1 首位は Claude Opus 5.5(67.16%)。しかし20回すべて成功したタスクは Opus 5 と同じ241件。Kimi-K3 は476タスクを1回は解けるが、毎回解けるのは68件
- このMacで分かったこと:公式は Linux 向けだが Mac でも動いた。採点は「手順は自由、余計な副作用は不合格、返事の正しさはDB判定の外」という挙動を、手書きのエージェントで再現できた
次の一歩としては、まず自社のエージェント評価に「最終状態の照合」と「同じタスクの繰り返し」を足してみることをおすすめします。そのうえで、ThinkingBox 上で自社に近いシナリオを作れば、ハーネスの改善(エラー処理、ツールの絞り込み、承認の挟み方)がどれだけ効くかを数字で確かめられます。公式は、ThinkingBox の判定を報酬に使った強化学習のコード(microsoft/thinkingbox-training)も近く公開するとしています。論文では、この報酬で Qwen3.8-27B を全パラメータ学習すると pass@1 が 51.70% から 60.78% に上がったと報告されています。
参考リソース
- The Agent Said It Was Done. The Database Disagreed.(Microsoft × Hugging Face ブログ、2026-10-03)
- One Success Isn’t Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows(arXiv:2608.19741)
- microsoft/thinkingbox(フレームワーク)・チュートリアル・モデル接続の設定ガイド
- microsoft/thinkingbox-data(ベンチマーク本体)・v1.0 リリース
- microsoft/ThinkingBox-Bench(Hugging Face データセット)
- OpenEnv の ThinkingBox 環境(ドキュメント)・envs/thinkingbox_env(GitHub)
ライセンス:ThinkingBox のコードは MIT、ベンチマークデータは CDLA-Permissive-2.0、OpenEnv の環境は BSD-3-Clause です。ベンチマークのタスク内容や正解をプロンプトの調整やモデルの学習に使うことは、公式に禁止されています(評価専用)。
記事中の公式図(Figure 1〜4)は Microsoft × Hugging Face のブログからの引用です。そのほかの図は、公式情報とこのMacでの実行結果をもとに筆者が作成しました。

