EDITION
ROLLING EDITION
AOIFUTURE News — ツールを増やす前に、効いている経路を測る
画像操作ツールとスキル検索グラフの検証から見えるのは、機能の追加数ではなく、観測や構造が実際に答えへ寄与した経路を測る必要性だ。
SOURCE-FIRST SIGNALS
Signals
画像ツールを呼んだ事実ではなく、返った観測が答えを変えたかを測る
Source fact
著者らは視覚ツール利用を因果グラフとして捉え、方策・軌跡・個別ステップの介入で、返された画像観測が回答へ寄与したかを監査した。6モデルと5つの細粒度知覚ベンチマークで、観測が回答へ影響しない「Calling Without Looking」と、観測は有益でも呼び出し計画が不整合な「Looking Without Planning」を報告している。
Why this signal matters
Why selected
ツール呼び出し回数や総合精度だけでは、追加コストが実際の判断改善へ結びついたか分からないことを、観測単位の検証問題として示しているため。
選定方針AOI note
マルチモーダル運用では、cropやzoomを使ったかではなく、返却観測、回答差分、追加トークン、失敗時の直接推論結果を同じreceiptへ残す。効果が確認できない呼び出しは、効果未確認のコストとして管理する。
検索器と同じ近傍から作ったグラフは、検索の届く範囲を広げられない
Source fact
690スキルと117件の非エコー質問による著者評価では、lexicalとdenseを組み合わせた検索器のtop-5到達率は73.5%±8.0だった。同じ候補予算で追加の検索結果をグラフ近傍へ置き換えると11.2ポイント低下し、生成された型付きエッジの98.6%は埋め込み近傍が既に結んだスキル間だったと報告している。
Why this signal matters
Why selected
構造化すれば検索範囲が広がるという直感に対し、候補エッジの作り方が既存検索器に依存すると到達範囲も同じ信号に縛られることを、設計上の境界として示しているため。
選定方針AOI note
大規模スキル基盤では、グラフの有無より候補生成源の独立性を監査する。検索器と同じembedding近傍だけでエッジを作るなら、依存関係の説明には使えても未到達スキルの救済経路とは見なさない。