LLM

Microsoft と Hugging Face が公開した ThinkingBox は、AIエージェントの返事ではなく作業後のデータベースの状態で採点し、同じ仕事を20回繰り返して「1回できる」と「毎回できる」を分けて測る評価環境です。従来の評価の課題と仕組み、公式の結果を整理し、MacBook Pro でローカルの Qwen3.8-27B を使って実際に動かした結果をまとめます。

LlamaIndex の文書抽出サービス Extract v2.5 を API で実際に試しました。長いリスト・ページをまたぐ記録・手書きの請求書という、従来の方法が苦手な日本語の架空文書4種で、ルール抽出・ローカル LLM・旧版 v2.1 と比べ、何が良くなり何が残ったかをスクリーンショットと動画で示します。

コーディングエージェントの出力は、さっき読んだコードやログの書き写しが多い。AgSpec（arXiv 2610.01108）はそれを先回りして写し、モデルにまとめて確かめさせることで生成を最大4.76倍にしました。仕組みをかみくだいて説明し、方針の部分を Mac（MLX）で実装して、どの工夫がどれだけ効くか、Mac では何が違ったかを検証します。

ドイツの Aleph Alpha が公開したオープンモデル Kolibri-1 は「資料に答えが無ければ答えない」能力を訓練で教え込んだと公表しています。MacBook Pro（M5 Max・128GB）で動かし、Qwen3.6・Qwen3.5 と 650 問で比べると、指示なしでは Kolibri がいちばん答えてしまい、「答えないで」の 1 文を足すと逆にいちばんよく控えました。手順・数字・使い分けをまとめます。

SGLang v0.5.21 で入った Decisions API の仕組みと vLLM との違いを整理し、M5 Max の Mac で Qwen3.8-27B を動かして、JSON で答えさせる従来の方法と速さ・正解率を比べました。