ChatGPT はなぜ賢いのかについてどこまで分かっているのか

R.Shimogauchi

概要

SOTA を目指す研究と理論研究の違い (グラデーションだが)

• SOTA を目指す研究:
  • 足が速い人をとりあえず連れてくる
  • スポーツ選手のコーチングを行う (食生活の管理、トレーニングの管理)
• 理論研究:
  • 足が速い人を見つけて、なぜ速いのかを分析する
  • 人体をモデル化して、人体での走る速さの上限を見つける

今日の内容は下垣内が読んだ (or 読み途中、読みたい) 論文やそのメモ等から全体像を大まかにまとめてみたものになります。

次回以降、面白いものを深掘りしていきます (他に面白い話題があったらそちらを話すかも)。

最近気になっている理論研究の動向

• NN 自体の万能近似能力 ← これはE資格とかでも出てくるので知っている人は多そう
• Self-Attention だけで構成されたモデルの能力
  • Hard-Attention、Saturated-Attention など理論で扱える近似
  • 回路計算量理論などを用いた分析
• In-Context Learning が何を行っているのか
  • 擬似的に勾配降下しているというアイディア
  • ベイズ推論をしているというアイディア
• Chain-of-Thought による能力拡張
  • スクラッチパッド的に生成可能なトークン数が増えると、解ける問題のクラスがどう変わるか
  • インプット長に対して対数的に増やしても解ける問題は少ない、線形に増やすと解ける問題が増えるなど
• 外部ツール利用を理論上はどのように扱うか
  • 外部ツールはオラクルとして扱うなど
• コーディングエージェントをどのように扱うか
• その他
  • Physics of LLM: 物理実験のように管理されたデータ・状況下で LLM がどう振る舞うかを調べる (https://physics.allen-zhu.com/)

まとめ

• HTML