資料詳細

目次

第1章 はじめに

第2章 復習・誤差逆伝搬法

  2.1 全結合型ニューラルネットワーク

  2.2 誤差逆伝搬法

  2.3 損失関数

  2.4 MNIST手書き数字認識の学習(実行例2.1)

  2.5 まとめ

第3章 自動微分

  3.1 自動微分とは何でないか

  3.2 自動微分とグラフ表現

  3.3 計算グラフ

  3.4 フォワードモード法による自動微分

  3.5 リバースモード法による自動微分

  3.6 リバースモード法と誤差逆伝搬

  3.7 計算グラフを用いたシグモイド関数の微分(練習問題)

  3.8 まとめ

第4章 ディープラーニングの最適化技法

  4.1 確率的勾配降下法の復習

  4.2 慣性項とNesterovの効用(実行例4.1)

  4.3 学習定数のスケジューリング

  4.4 よい学習定数を見つける簡便な方法(実行例4.2)

  4.5 適応型確率的勾配降下法

  4.6 Adamを用いた実行例(実行例4.3)

  4.7 まとめ

第5章 活性化関数

  5.1 シグモイド関数

  5.2 ReLUとその派生形

  5.3 ELU

  5.4 SELU

  5.5 SELUが自己正規化特性をもつことの確認(実行例5.1)

  5.6 GELU

  5.7 まとめ

第6章 パラメータの初期化と正則化

  6.1 パラメータ初期化の重要性

  6.2 Glorotの初期化と動作確認(実行例6.1)

  6.3 Heの初期化と動作確認(実行例6.2)

  6.4 直交基底による初期化

  6.5 正則化

  6.6 L2正則化の例(実行例6.3)

  6.7 ドロップアウト正則化

  6.8 MCドロップアウト

  6.9 ドロップアウトとMCドロップアウトの例(実行例6.4)

第7章 ディープ化の技法

  7.1 勾配クリッピング

  7.2 バッチ正規化

  7.3 バッチ正規化の効用(実行例7.1)

  7.4 バッチ正規化の理解に向けて

  7.5 その他の正規化技法

  7.6 ResNet

  7.7 ResNetによるMNIST手書き数字認識(実行例7.2)

  7.8 まとめ

第8章 CNN

  8.1 CNNの順方向計算

  8.2 CNNの誤差逆伝搬

  8.3 バッチ正規化とCNN

  8.4 Heの初期化とCNN

  8.5 畳み込みパラメータ数の低減

  8.6 CNNとResNet

  8.7 CNNによるMNIST手書き数字認識(実行例8.1)

  8.8 コンピュータビジョンとCNN

  8.9 まとめ

第9章 VAE

  9.1 オートエンコーダ

  9.2 VAE

  9.3 VAEをニューラルネットワークで実現する方法

  9.4 VAEによるMNIST手書き数字の生成(実行例9.1)

  9.5 まとめ

第10章 GAN

  10.1 GANの基本

  10.2 DCGAN

  10.3 DCGANによるMNIST手書き数字の生成(実行例10.1)

  10.4 WGAN

  10.5 スペクトル正規化によるGANの構成

  10.6 スペクトル正規化を用いたDCGANの実行(実行例10.2)

  10.7 GANからBigGANへ

  10.8 生成画像の多様性と質の評価尺度およびトレードオフ

  10.9 まとめ

第11章 RNN

  11.1 RNNの構造

  11.2 BPTT

  11.3 LSTMとGRU

  11.4 RNNによる言語モデル

  11.5 文字列の学習と生成(実行例11.1)

  11.6 単語の分散表現

  11.7 エンコーダ・デコーダシステム

  11.8 Attentionネットワーク

  11.9 翻訳文の評価法

第12章 Self‐AttentionとTransformer

  12.1 Transformerの概要

  12.2 エンコーダ入力

  12.3 エンコーダSublayer 1

  12.4 エンコーダSublayer 2

  12.5 デコーダ

  12.6 最終Layer

  12.7 TransformerのAblation Study

  12.8 GPT-3とBERT

  12.9 Transformerの実行例(実行例12.1)

付録

  A.1 式(9.15)の導出

  A.2 誘導ノルムの等価性

  A.3 生成画像の評価法(ISとFID)

  A.4 翻訳文の評価法(BLEU)

ページの先頭へ