PASTABench
@Hirotoshi Kitamura
どんな論文か
PASTABench: Proactive Assessment of Sequential Trajectories for Agent Safety
Jiapeng Sun, et al.(香港科技大学・北京大学)、EMNLP 2026、arXiv:2609.28197
AIエージェントの行動を1ターンずつ見張る監視システムが、危険を「止めるべきか」「いつ止めるか」「何の危険か」まで判断できるかを測るベンチマーク。
背景
エージェントの危険は1回の応答として現れるのではなく、単体では無害に見える操作の積み重ねとして数ターンかけて現れる。これまでのマルチターンのリスク評価ベンチマークには2つの限界があった。
- ステップ単位の評価は、行動を1つずつ切り離して判定するため、危険の積み重ねを見落とす
- 軌跡単位の評価は、行動が終わってから全体の合否を出す。監査には使えるが、途中で止める機会がないため、リアルタイムの介入には使えない
提案
- 1,139本のマルチターン軌跡それぞれに、危険の兆候が最初に出たターンと、続けると実害が出るターンをアノテーションし、その間を最適介入ウインドウとする
- モニターは各ターンで続けるか止めるかを判断する。最適介入ウインドウの中で、リスクの種類(5大分類・13小分類)も正しく当てて止められたかを評価する
主な結果(16モデルを評価)
- 最適介入ウインドウ内で正しい分類とともに止められた割合は、最良の GPT-4o でも40.74%
- 失敗の大半は見逃しではなく止めすぎ。手遅れは全モデルで1.32%以下だが、兆候が出る前に止めてしまう割合は25%から64%
- 多くのモデルは状況ではなく、transfer や steam のような危険を連想させる語に反応していた。危険語を中立的な言い換えに置き換えると、クローズドモデルでは介入のタイミングが改善する例が増えるが、評価したオープンウェイトモデルではほとんど増えない
どのようなタスクか
AIエージェントの行動軌跡を長さ $N$ の観測列とする。モニター $f_\theta$ は各ターン $t$ で履歴 $H_t$ を受け取り、継続か介入かを判断する。介入する場合はリスクも分類。
評価には、最初に介入したターン $\hat{t}$ とそのときの分類を使う。最後まで介入しなければ $\hat{t} = \infty$ とする。