資料詳細

目次

第1章 バンディット問題とは

  1.1 はじめに

  1.2 バンディット問題の例

  1.3 確率的バンディットと敵対的バンディット

  1.4 プレイヤー方策の評価法

  1.5 バンディット問題の歴史

  1.6 関連分野

  1.7 本書の構成

第2章 確率的バンディット問題の基礎知識

  2.1 中心極限定理による確率近似

  2.2 裾確率の評価

  2.3 大偏差原理

第3章 確率的バンディット問題の方策

  3.1 定式化

  3.2 理論限界

  3.3 ε-貪欲法

  3.4 尤度に基づく方策

  3.5 確率一致法とトンプソン抽出

  3.6 最悪時の評価

第4章 確率的バンディット問題のリグレット解析

  4.1 リグレットの分解

  4.2 累積分布関数と期待値

  4.3 UCB方策の性能解析

  4.4 トンプソン抽出の性能解析

第5章 敵対的バンディット問題

  5.1 問題設定

  5.2 オンライン学習理論とHedgeアルゴリズム

  5.3 Exp3方策

  5.4 Exp3.P方策

  5.5 敵対的多腕バンディット問題のリグレット下界

  5.6 最適オーダーの方策

第6章 最適腕識別とA/Bテスト

  6.1 定式化

  6.2 標本複雑度

  6.3 最適腕識別の方策

  6.4 固定予算の設定

第7章 線形モデル上のバンディット問題

  7.1 線形バンディット

  7.2 文脈付きバンディット

  7.3 LinUCB方策

  7.4 線形モデル上のトンプソン抽出

  7.5 ロジスティック回帰モデル上のバンディット

第8章 連続腕バンディットとベイズ最適化

  8.1 定式化と観測モデル

  8.2 リグレットの設定

  8.3 期待値関数のクラス

  8.4 連続腕バンディットの方策

  8.5 共分散関数のパラメータ推定

第9章 バンディット問題の拡張

  9.1 時間変化のあるバンディット問題

  9.2 比較バンディット

  9.3 部分観測問題

  9.4 その他の拡張

第10章 バンディット手法の応用

  10.1 モンテカルロ木探索

  10.2 インターネット広告

  10.3 推薦システム

付録A 逆行列の更新

付録B ベータ分布の裾確率

ページの先頭へ