PASTABench

@Hirotoshi Kitamura

どんな論文か

PASTABench: Proactive Assessment of Sequential Trajectories for Agent Safety Jiapeng Sun, et al.(香港科技大学・北京大学)、EMNLP 2026、arXiv:2609.28197

AIエージェントの行動を1ターンずつ見張る監視システムが、危険を「止めるべきか」「いつ止めるか」「何の危険か」まで判断できるかを測るベンチマーク。

背景

エージェントの危険は1回の応答として現れるのではなく、単体では無害に見える操作の積み重ねとして数ターンかけて現れる。これまでのマルチターンのリスク評価ベンチマークには2つの限界があった。

提案

主な結果(16モデルを評価)

どのようなタスクか

AIエージェントの行動軌跡を長さ $N$ の観測列とする。モニター $f_\theta$ は各ターン $t$ で履歴 $H_t$ を受け取り、継続か介入かを判断する。介入する場合はリスクも分類。

評価には、最初に介入したターン $\hat{t}$ とそのときの分類を使う。最後まで介入しなければ $\hat{t} = \infty$ とする。