資料詳細

目次

序章 深層学習:その仕組みと歴史

  1 記号推論のAIと学習機械パーセプトロン

  2 確率勾配降下学習法の源

  3 AIブームとニューロブーム

  4 AI技術の将来

  5 余談

第1章 層状のランダム結合神経回路

  1.1 1層のランダム神経回路網

  1.2 層状のランダム回路と活動度

  1.3 巨視的な関係

  1.4 距離(重なり)の法則の計算

  1.5 微小距離の拡大率

第2章 深層ランダム神経回路による信号変換

  2.1 多層神経回路網の信号変換

  2.2 状態空間の縮退

  2.3 信号空間の変換-計量の法則

  2.4 曲率のダイナミクス

  2.5 多層回路における信号空間の変換:素子数pの効果

  2.6 素子数無限大の層状神経回路

  2.7 素子数無限大の場による層状変換の幾何

  2.8 ランダム層状神経場の構想

  終わりの一言

第3章 再帰結合のランダム回路と統計神経力学の基礎

  3.1 再帰結合回路:ランダム回路の活動度の巨視的力学

  3.2 計量と曲率の時間発展

  3.3 統計神経力学の基礎

  3.4 リザーバー学習計算機械

  3.5 信号間の距離のダイナミクス

  終わりの一言

第4章 深層回路の学習

  4.1 確率勾配降下法

  4.2 逆誤差伝播法(バックプロパゲーション)

  終わりの一言

第5章 神経接核理論(NTK)

  5.1 関数空間とパラメータ空間

  5.2 関数空間での学習の進行

  5.3 NTK理論の主要定理:任意のランダム回路の近傍に正解がある-単純パーセプトロンの場合

  5.4 一般の深層回路におけるNTK定理

  5.5 ランダム回路の万能性

  5.6 深層学習は局所解に落ち込まない

  5.7 深層学習のガウス過程とBayes推論

  終わりの一言

第6章 自然勾配学習法とFisher情報行列-学習の加速

  6.1 学習の速度と精度

  6.2 経験ヘッシアンと経験Fisher情報行列

  6.3 固有値の分布と最大固有値

  6.4 学習の加速法

  6.5 確率分布族の空間,Fisher情報行列,自然勾配

  6.6 ランダム深層回路ではFisher情報行列はブロック対角化する

  6.7 経験Fisher情報行列とブロック対角化

  6.8 経験自然勾配学習の実現とAdam:一般化損失の導入

  終わりの一言

第7章 汎化誤差曲線:二重降下

  7.1 訓練誤差と汎化誤差

  7.2 線形回帰モデル

  7.3 線形モデルの解析:学習と汎化誤差

  7.4 汎化誤差の分解

  7.5 汎化誤差曲線:真のパラメータがどのモデルにも含まれない場合

  終わりの一言

第8章 巨視的変数の力学,神経場の力学

  8.1 ランダム結合の回路:双安定性

  8.2 興奮性ニューロンと抑制性ニューロンからなる集団,さらに多数の集団のダイナミクス

  8.3 神経場のダイナミクス

  終わりの一言

ページの先頭へ