EDITION
ROLLING EDITION
AOIFUTURE News — スキル移転、推論コスト、欠落認識、記憶の罠
エージェントのスキル蓄積が逆に効く条件、推論コストの適応配分、法律相談の欠落認識、記憶による推論歪みを一次情報で確認。
SOURCE-FIRST SIGNALS
Signals
タスク単位のスキルは逆に効かない：LLMエージェントのスキル移転を制御実験で読む
Source fact
完了タスクから誘導したスキルが他タスクへ移転する際の挙動を、タスク単位とサブタスク単位の誘導、テキストとコードの形式という2軸で制御実験した。タスク単位のスキルはメモリなしベースラインを下回る場合が多く、サブタスク単位は平均で上回った。テキストスキルはコードスキルより移転が良かった。特異性と抽象性のいずれか単独ではタスク成功を予測しないが、両者の合成スコア（スキル・ユーティリティ）は移転成功と相関し、タスク実行なしで計算できる。
Why this signal matters
Why selected
エージェントが経験からスキルを蓄積して成長する設計は実装が進む一方、蓄積したスキルが逆に性能を落とすケースの定量評価は少ない。どの粒度・形式でスキルを切り出すかが移転を左右する点は、スキルメモリ設計の要件として直接使える。
選定方針AOI note
「経験から学ぶ」を謳うエージェント実装では、スキルの切り出し粒度が暗黙の前提になりがちだ。タスク単位で丸ごと保存すると移転で損が出る、という結果は、サブタスク単位への分解とテキスト表現の優先を設計判断の根拠にできる。
考える量をモデル自身に決めさせる：推論コストの適応配分
Source fact
応答の先頭トークンでNoThink・Short・Longの3モードを選び、GRPO内で報酬形成とモード別トークン上限により選択を学習させる。MATHで訓練した1.5B蒸留モデルでは3モードが崩壊せず出現し、短いモードの方がLongより高精度だった。3シード平均でMATH500はベースの0.796に対し0.782、平均応答長は4,796から2,811トークンへ41%短縮。GSM8Kでは76%のトークン削減で同長ベースラインより高精度と報告。
Why this signal matters
Why selected
推論モデルのトークンコストは実運用の主要な制約だが、難易度に応じた計算量配分をモデル自身に学習させる手法は少ない。固定予算の過計算・計算不足をどう解消するかが、推論APIの価格設計にも直結する。
選定方針AOI note
「長く考えれば正確」はコストと引き換えの前提だった。先頭トークンのモード選択で難易度ソートが機能し、短いモードの方が高精度という結果は、推論コストを問題難易度で正規化できる可能性を示す。
情報が足りない質問にLLMは答えられるか：法律相談の欠落評価ベンチマーク
Source fact
法的に重要な事実が欠落した質問に対し、モデルが欠落を認識し、何が足りないかを特定し、早急な結論を避けるかを評価するベンチマークを提案。8つの欠落要素カテゴリと3つの構造失敗モード（switch・gating・fatal prerequisite）を形式化し、6法域分野・24米州にまたがる202項目（ベース58・欠落バリアント144）を実務弁護士がアノテーション。10のフロンティアモデルを評価し、欠落要素特定でF2=0.46を超えるモデルはなく、中央値リコールは0.44。モデルは無差別に留保するか、捏造した前提で黙って答えるかの二択だった。
Why this signal matters
Why selected
法律AIは実利用で増えているが、既存ベンチマークは質問が完全に指定されると仮定している。実際にはユーザーが重要な事実を省略するため、欠落認識能力の評価は実務品質の下限を測る指標になる。
選定方針AOI note
「質問が不十分」を失敗ではなく設計対象として扱う視点転換が核心だ。どの情報が法的に重要かをモデルが判断できない限り、留保の質は保証できない。この評価軸は法律以外のドメインへの応用も想定できる。
記憶が推論を歪める：LLMメモリの認知トラップを測る
Source fact
忠実に記録され意味的に関連する記憶でも、モデルの推論や信念を歪めて現在のタスク性能を落とす「認知トラップ」をReasoning FixationとBelief Distortionの2形態として特定し、MemTrapBenchで評価した。2モデルファミリー・5メモリフレームワークの実験で、全メモリ戦略がメモリなし設定を下回り、最良の方法でも10%超の性能低下。推論時手法AdaptiveMemはトラップを緩和しつつ、標準メモリベンチマークの性能を維持・改善した。
Why this signal matters
Why selected
メモリ付きエージェントは実装が進むが、検索した記憶が推論を歪める方向の評価はほぼ未開拓。記憶の「正しさ」ではなく「推論への影響」を測る軸は、メモリ設計の品質基準として新しい。
選定方針AOI note
記憶を「正しく保存・検索できれば良い」とする前提が崩れる結果だ。関連する記憶ほど推論を固定化しうる、という点は、メモリ付きエージェントのデグレ原因として実運用で確認すべき項目になる。