Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights

@Hirotoshi Kitamura

https://rikiyat.github.io/blog/weight-space-programming/

概要

汎用LLMが別のニューラルネットワークの重みを数値として解析し、学習内容やモデルの各層の処理を推定し、目的の動作を実現する重みを生成・修正できるかを調べた検証。GPT-6 Astraを専用の追加訓練なしに用い、対象モデルの勾配計算は使わない。

対象はゲーム方策、図形生成用の拡散モデル、言語モデル。全8実験で、学習内容の推定、注意ヘッドの機能分析、迎合性の識別、ゲーム・囲碁方策の生成、車制御・数学推論の修復を検証。

結果として、重みからゲーム方策の用途や注意ヘッドの役割を同定し、ゲーム・囲碁方策の生成と車制御・数学推論の修復に成功した。MinAtarの3ゲームでは生成した方策が1億ステップ学習のPPOを上回り、Qwen3.5-0.8BではMATH-500の正答率が7.9%から48.1%へ改善。

新規制

重みの生成・編集自体には先行研究がある。HyperNetworksは重み生成器を学習し、ROMEは事実知識を局所編集する。

本研究の特徴は、重みを扱うための追加訓練をしていない汎用LLMが、タスクの説明に応じて、対象モデルのどの重みを調べ、どの値へ変更するかを決めた点にある。小規模モデルでは重みをテキストで受け取り、QwenではPythonでテンソルと実行時の内部状態を調べた。

検証

全8実験のうち、機能の推定、重みの生成、失敗の修復を検証した3例を示す。

実験1:学習済みの重みから、何のゲームを学習したか推定できるか

設定

4つのコンピュータゲーム(Breakout・Pong・Pac-Man・Freeway)の方策を、同じMLP構造・入出力形式でPPO学習。Astraには構造、観測チャネルと行動の定義、重み全17,253個の数値列を渡し、ゲーム名を答えさせた。候補のゲーム名は教えず、モデルの実行やツールの使用も認めない。

結果

Astraは、入力位置ごとの重みや行動出力への結合を手がかりに回答。学習に用いたゲーム名と照合すると、4モデルすべてで正解した。

image.png

実験5:ゲームの規則から、プレイできる方策の重みを生成できるか