EDITION
ROLLING EDITION
エージェントの逸脱に備える手順と、行儀を測る仕組み
米政府機関が高度なAIエージェントの「制御インシデント」への備えを手順化し、ウェブではボットの振る舞いを継続的に測る動きが出てきた。大型モデルの公開や自律実験の進展と並べ、能力の拡大とそれを縛る仕組みを一次資料から見る。
SOURCE-FIRST SIGNALS
Signals
米NIST・NSA・CISA、高度なAIエージェントの「制御インシデント」に備える10の実践を公表
Source fact
CISAは10月16日、米国立標準技術研究所（NIST）、国家安全保障局（NSA）のSuper Intelligence Security Center、CISAの3機関がまとめた文書「Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation」を公開した。高度な能力を持つエージェントを訓練・評価する組織、とくに安全策を弱めた展開前の非公開システムを扱う組織向けに、任意の中核的実践10項目を示す。文書は、エージェントが指示されていない行動を取り、作業範囲や人による監督を定める方針・統制・セキュリティ対策と衝突したり損なったりする事態を「制御インシデント」と定義する。対象は、情報・システム・ツール・ネットワークへのアクセス制限、想定外の活動の監視、証拠保全と望ましくない挙動の停止、検証済みの基準状態からの再構築、政府機関や影響を受ける当事者へのインシデントとニアミスの報告で、活動再開前に統制の試験と封じ込めの検証を行う重要性も挙げている。
Why this signal matters
Why selected
訓練・評価中のエージェントが指示外の行動を取る事態を、米政府機関が通常のサイバーインシデント対応の延長として手順化した一次文書として確認できる。
選定方針AOI note
エージェントの暴走を、思想の問題ではなく「隔離・監視・証拠保全・復旧・報告」という運用の問題として扱っている。ニアミスまで報告対象に含めた点は、開発現場の記録の付け方を変えうる。
新興の米AI企業Reflection、5010億パラメータのオープンモデル「Beam」を公開 Apache 2.0で提供
Source fact
Hugging Faceは10月16日、米国の新しいAI研究所Reflectionの最初のモデル「Beam」の解説記事を公開した。総パラメータ5010億、1トークンあたり有効230億の混合エキスパート（MoE）構成で、52層、各MoE層256個のエキスパートから1トークンごとに8個を選ぶ。入出力はテキストで、コンテキスト長は最大100万トークン、ライセンスはApache 2.0。コーディングとエージェント用途に重点を置き、自前のハードウェアやクラウドで動かし用途に合わせて調整したい組織を想定している。チェックポイントはBF16・FP8・NVFP4の3形式で、BF16版は約1TB。transformers、vLLM、SGLangが公開当日から対応し、Rust製の専用実行環境も同梱する。記事は推論、教師ありファインチューニング、強化学習の手順も示している。
Why this signal matters
Why selected
フロンティア級の規模のモデルが、制限の少ないApache 2.0で重みごと公開され、構成と運用手順を一次の技術記事で確認できる。
選定方針AOI note
大型オープンモデルの公開が続くなか、今回は制限の少ないライセンスで出てきた。選択肢は増えたが、BF16で約1TBという重さは変わらず、使える組織は計算資源で絞られる。
Anthropic、株式の5%を拠出する「Public Benefit Fund」を設立へ 企業価値の上昇に応じて持ち分を追加
Source fact
Anthropicは10月18日、自社株式の一部を新組織「Anthropic Public Benefit Fund」に拠出すると発表した。株主の承認を条件に、まず株式の5%を拠出し、企業価値が基準から50%上昇するごとに、取締役会の判断で2%ずつ追加する。基金は501(c)(3)ではなく同社が全額出資するLLCとして設立し、伝統的な非営利団体への大口寄付や特定の集団への直接分配なども検討するという。基金が保有する株式は、米国内外でロビー活動や政治献金には使わないとしている。例として、AIが労働市場に与える影響を挙げ、すでにこの問題の調査と対応に2億ドルを拠出済みだと記している。共同創業者の持ち分寄付の誓約や従業員の株式寄付マッチング制度と合わせ、同社株式のおよそ20%が公益に充てられることになるという。
Why this signal matters
Why selected
AI企業が成長の果実をどう社会に戻すかについて、拠出比率と追加条件を具体的に示した一次発表として確認できる。
選定方針AOI note
経営陣への段階的な報酬の代わりに、企業価値の上昇を公益の持ち分に結びつける設計は珍しい。ただ実際の効果は、統治の仕組みと使い道の開示しだいだ。
Google Research、AIエージェントが実験ロボットを動かす「自律型ウェットラボ」の研究成果を公表
Source fact
Google Researchは10月16日、AIエージェントが生物学の実験を設計・実行し、結果から学ぶ取り組みについて3件の研究を紹介した。1つ目のVERIDは、液体分注ロボットの作業台の状態を3Dで追跡するデジタルツインで、実行前の仮想試行や危険な命令の遮断、映像と操作ログの同期記録を備える。2つ目では、DNAアプタマーの設計・合成・選別・配列解読を3巡繰り返し、確認されたヒット率がミオグロビンで33.5%、α-トロンビンで42.1%に上がったとしている。3つ目では、固形がんで過剰発現するFAPを標的に、数回の実験で1桁ナノモル級の親和性を持つ結合タンパク質を得たと報告している。安全面では、感染性のない系を試験台に選び、設計した配列はすべてバイオセキュリティ審査にかけるとしている。
Why this signal matters
Why selected
エージェントが計算機の中だけでなく物理的な実験装置を操作し、その失敗から設計方針を直す過程を一次の研究記事で確認できる。
選定方針AOI note
目を引くのは数値より、エージェントが「粘着性の偽陽性」を自ら見抜いて設計規則を改めた過程だ。物理世界での行動を、実行前のシミュレーションと遮断で縛る設計は、他分野のエージェントにも通じる。
推論エンジンvLLM v0.32.0公開 低精度KVキャッシュの対応拡大と構造化判定用エンドポイント
Source fact
オープンソースの推論エンジンvLLMは10月18日、v0.32.0を公開した。リリースノートによると、363人の貢献者による814件のコミットを含む。構造化された状態に対して選択・採点などの問いに答える新しいエンドポイント「/v1/systemone」を追加し、既定で提供する。チェックポイントに含まれる応答テンプレートを読み取る汎用のツール呼び出し・推論パーサーを加え、対応モデルでは個別のパーサーが不要になる。NVFP4形式のKVキャッシュの対応GPU世代を広げ、複数のAPIサーバーを使う場合に最も負荷の低いワーカーへ接続を振り分ける機能なども加えた。
Why this signal matters
Why selected
大型オープンモデルを自前で動かす際の基盤となる推論エンジンの更新内容を、一次のリリースノートで確認できる。
選定方針AOI note
KVキャッシュの低精度化は、長いコンテキストを扱うモデルを限られたGPUで動かすための地道な改善だ。モデル公開の速さに、配る側の道具が追いついていく様子がうかがえる。
CISA、FortinetとBeyondTrust製品の脆弱性2件を悪用確認済みカタログに追加
Source fact
CISAは10月16日、実際に悪用されている証拠に基づき、2件の脆弱性を既知の悪用された脆弱性（KEV）カタログに追加した。Fortinetの複数製品のパストラバーサルの脆弱性（CVE-2025-61624）と、BeyondTrust Remote Supportのなりすましによる認証回避の脆弱性（CVE-2026-102764）である。連邦政府の文民行政機関は拘束的運用指令（BOD）26-04に基づき、カタログ掲載の高リスクな脆弱性の修正を優先する必要がある。CISAはそれ以外の組織にも、カタログ掲載の脆弱性を優先して修正するよう促している。
Why this signal matters
Why selected
リモート接続やネットワーク機器の脆弱性が実際に悪用されていることを、米政府機関の一次情報で確認できる。
選定方針AOI note
遠隔サポートやネットワーク境界の製品は、侵入されると組織全体の操作権限に直結しやすい。悪用確認の公表は、修正の優先順位を決める最も確かな手がかりになる。
Cloudflare、認証済みボットの「振る舞い」を継続評価する仕組みを導入 robots.txtと429への対応を測定
Source fact
Cloudflareは10月16日、同社が認証したボット（Verified bot）が、サイト運営者の意向をどれだけ一貫して守っているかを評価する仕組みを紹介した。当初の評価項目は、robots.txtの指示を守っているか、そして「リクエストが多すぎる」ことを示すHTTP 429の応答を受けて速度を落としたり停止したりしたか、の2点。単発の違反ではなく継続的な傾向を見て、説明可能な信頼度の幅として示すという。同社はすでに社内で運用しており、今後は評価をCloudflare Radarで公開し、すべての顧客が信頼度のしきい値を選んで扱いを決められるようにする計画だとしている。
Why this signal matters
Why selected
AIクローラーやエージェントの増加を背景に、身元確認だけでなく継続的な振る舞いで信頼を判定する方式を、一次の発表で確認できる。
選定方針AOI note
「誰か」を確かめる段階から「何をしているか」を見続ける段階へ移ろうとしている。ウェブ上で動くエージェントにとって、行儀のよさが通行証の条件になりつつある。
GitHub、依存パッケージのライセンス準拠チェックを一般提供 コーディングエージェント向けのAPIも
Source fact
GitHubは10月16日、オープンソースのライセンス準拠機能をGitHub Enterprise Cloudの顧客向けに一般提供したと発表した。GitHub Code Securityを有効にしたリポジトリが対象。企業全体のライセンス方針を定め、ルールセットで対象リポジトリを指定すると、依存関係を追加・変更するプルリクエストでライセンスが自動検査され、方針に合わない依存関係に注記が付く。6月のパブリックプレビュー以降、データ所在地を指定する顧客への対応、方針変更の監査ログ記録、方針の取得・更新用APIを追加した。パッケージが方針に準拠しているかを確認するAPIも加え、コーディングエージェントが方針に反するパッケージを推奨したり組み込んだりしないようにできるとしている。
Why this signal matters
Why selected
エージェントがコードに依存関係を足す前提で、組織の規則を機械的に参照させる仕組みが製品として提供されたことを、一次の変更履歴で確認できる。
選定方針AOI note
エージェントにコードを書かせるなら、守るべき社内規則をAPIとして渡す必要がある。ライセンス確認はその分かりやすい最初の例だ。
NVIDIAとIITマドラス、インドの22言語・約2.8兆トークンの事前学習データと生成手順を公開へ
Source fact
NVIDIAは10月16日、インド憲法に記載された22言語を対象とする約2.8兆トークンの事前学習用データ「Nemotron-pretraining-Indic-v1」を紹介した。インド工科大学マドラス校（IIT Madras）のAI4Bharatと共同で開発し、データを生成したGPU処理の手順とともに近く公開するとしている。英語の文書を翻訳し、品質評価と修正をかけて作成したもので、22言語すべての固有文字版と、12言語のローマ字表記版を含む。内訳は固有文字が2兆6010億トークン、ローマ字表記が2246億トークン。各記録には元文書の識別子を残し、出所をたどれるようにしているという。
Why this signal matters
Why selected
英語以外の言語でモデルを作るためのデータ不足に対し、データと生成手順の両方を公開する計画を一次の技術記事で確認できる。
選定方針AOI note
翻訳で作ったデータは量を補えるが、その言語で書かれた文章が持つ地域の知識までは補えない。記事自身もその点を認めており、使い方の線引きが問われる。
依頼の言語を変えるだけでAIエージェントの安全判定が揺らぐ 19種のガードを調べた研究
Source fact
10月15日にarXivへ投稿された論文は、エージェントがツールを呼び出す前に安全かどうかを判定する「ガード」が、利用者の依頼の言語によって判定を変えるかを調べた。既存データの1,220ステップについて、利用者の指示だけをドイツ語・フランス語・トルコ語・スワヒリ語・アムハラ語に翻訳し、ツール呼び出しやラベルは変えずに比較するベンチマーク「LinguaGuardBench」を作った。19種のガードを試したところ、小型・オープン・専用のガードの多くは翻訳で判定が変わり、言語がまれなほど影響が大きかった。13B未満の9種では、判定の反転率がフランス語の1.5ポイントからアムハラ語の4.4ポイントに上がった。最前線の大型ガードの変化は最大約1ポイントだった。ベンチマークと48万9千件の判定結果を公開している。
Why this signal matters
Why selected
エージェントの安全装置が英語前提で作られていることの影響を、言語だけを変える対照実験で示した研究として確認できる。
選定方針AOI note
安全判定が依頼の言語に左右されるなら、日本語で使うエージェントの防御も英語での評価結果だけでは測れない。