EDITION
ROLLING EDITION
AOIFUTURE News — スコアの外側で、エージェントの失敗を測る
Gemini 3.7 FlashとQuoteBenchを深掘り。スキルの資源浪費、ライセンス判定、公共AI、Copilot展開を短報で追う。
SOURCE-FIRST SIGNALS
Signals
同じスコアでも、コマンドが通る経路で安全性は崩れる
Source fact
著者は56件・14系統の一回実行タスクを使うQuoteBenchを提示し、同一の応答を追加パーサー経由で再生すると、8構成で成功率が55.4〜73.2ポイント低下したと報告した。
Why this signal matters
Why selected
モデル評価だけでは見えない、シリアライズ、ラップ、再解釈という実行経路の故障を測定対象にした。
選定方針AOI note
エージェントの品質ゲートは最終スコアだけでなく、モデル出力から実行までの変換段階ごとに分ける。
Gemini 3.7 Flashは、速度だけでなくエージェント実務へ軸足を移す
Source fact
GoogleはGemini 3.7 Flashをコーディングとエージェント向けのworkhorse modelとして発表し、FrontierCode 1.1 Mainで43.6%対34.4%、DeepSWE v1.1で65.3%対49.0%と、3.6 Flashからの改善を報告した。
Why this signal matters
Why selected
低コスト帯のモデル選定が、単純応答から継続的なコード・エージェント処理へ広がる転換を具体的に示す。
選定方針AOI note
モデル名より、同じタスクでの品質、レイテンシ、失敗率、総コストを運用ログで比較する。
タスクを成功させたまま、スキルが資源だけを浪費させる
Source fact
著者は第三者スキルの説明と本文を連動させるConvergent Detour Hijackingを提示し、491件のheld-outタスクで、特定構成における選択率80.02%、完了した該当実行のトークン増66.91%、実行時間増92.45%を報告した。
Why this signal matters
Why selected
タスク完了率だけでは検出できない、成功を維持したままのコスト増幅を示す。
選定方針AOI note
成功・失敗に加え、不要スキル数、トークン、時間、外部呼び出しの上限を独立に監視する。
依存関係のライセンス判定に、パッケージレジストリの情報を追加
Source fact
GitHubはdependency graphのソフトウェア部品について、npmjs.orgやPyPIなどのパッケージレジストリも参照してライセンス情報の正確性と完全性を改善すると発表した。
Why this signal matters
Why selected
AI生成コードで依存導入が増えるほど、ライセンスの出所と欠落を機械的に追う価値が高まる。
選定方針AOI note
自動生成PRでも依存関係、ライセンス、出典を通常のサプライチェーン検査から外さない。
デラウェア州、迷子ペット照合に画像ベースのAI検索を導入
Source fact
デラウェア州公衆衛生局の動物福祉室は、Petco Love Lostの無料全国データベースを州の公式な迷子・保護ペット報告システムとして採用する提携を発表した。
Why this signal matters
Why selected
生成AI以外でも、行政サービスの検索と照合にAIを組み込む具体例として読者の視野を広げる。
選定方針AOI note
公共導入では便利さだけでなく、誤照合、写真の扱い、代替窓口、成果測定を確認する。
Gemini 3.7 FlashがGitHub Copilotへ展開、選択肢が実装面まで広がる
Source fact
GitHubはGemini 3.7 FlashをCopilotへ順次展開し、VS Code、Visual Studio、Copilot CLI、cloud agent、Copilot appのモデル選択肢として提供すると発表した。
Why this signal matters
Why selected
モデル発表と実際の開発者向け配布面を分けて追うことで、利用可能性を具体化できる。
選定方針AOI note
同じモデルでもホスト製品ごとに権限、ログ、課金、コンテキスト注入の境界を確認する。