資料詳細

目次

第1章 自然言語処理の概要

  1.1 自然言語処理の応用

  1.2 コーパスと自然言語処理

  1.3 自然言語処理の難しさ

第2章 自然言語処理のための機械学習の基礎

  2.1 機械学習とは

  2.2 教師あり学習

  2.3 特徴量表現

  2.4 パーセプトロン

  2.5 ロジスティック回帰

  2.6 ソフトマックス回帰モデル

  2.7 機械学習モデルの評価

  2.8 正則化

  2.9 ニューラルネットワーク

第3章 単語ベクトル表現

  3.1 記号からベクトルへ

  3.2 素性関数による単語のベクトル表現

  3.3 分布仮説と単語文脈行列

  3.4 特異値分解による次元削減

  3.5 Word2Vec:ニューラルネットワークによる学習

  3.6 単語ベクトルの応用

  3.7 Fast Text:単語よりも小さな単位の利用

  3.8 単語ベクトル表現の課題と限界

第4章 系列に対するニューラルネットワーク

  4.1 単語ベクトルの合成

  4.2 再帰型ニューラルネットワーク(RNN)

  4.3 勾配消失問題と勾配爆発問題

  4.4 長期短期記憶(LSTM)

  4.5 ゲート付き再帰ユニット(GRU)

  4.6 畳込みニューラルネットワーク(CNN)

第5章 言語モデル・系列変換モデル

  5.1 言語モデル・系列変換モデルの導入

  5.2 言語モデルの定式化

  5.3 言語モデルの利用例

  5.4 言語モデルの具体例1:nグラム言語モデル

  5.5 言語モデルの具体例2:ニューラル言語モデル

  5.6 系列変換モデル

  5.7 言語モデルの評価:パープレキシティ

  5.8 未知語問題への対応

第6章 Transformer

  6.1 Transformerの歴史的背景

  6.2 自己注意機構(セルフアテンション)

  6.3 Transformerの構成要素

  6.4 学習時の工夫

第7章 事前学習済みモデルと転移学習

  7.1 事前学習済みモデルの背景

  7.2 デコーダの事前学習:GPT

  7.3 エンコーダの事前学習:BERT

  7.4 エンコーダ・デコーダの事前学習:BART

  7.5 事前学習済みモデルと知識蒸留

  7.6 事前学習済みモデル利用上の注意点

第8章 系列ラベリング

  8.1 系列ラベリングとは

  8.2 系列ラベリングの定式化

  8.3 点予測による系列ラベリング

  8.4 線形連鎖に基づく条件付き確率場

第9章 構文解析

  9.1 構文解析とは

  9.2 句構造解析

  9.3 依存構造解析

  9.4 さまざまな構文解析手法

第10章 意味解析

  10.1 意味解析とは

  10.2 テキスト間含意関係認識

  10.3 ニューラルネットワークによる意味解析

  10.4 述語項構造解析

  10.5 論理表現

  10.6 セマンティックパージング

  10.7 意味解析のその他の話題

第11章 応用タスク・まとめ

  11.1 機械翻訳

  11.2 質問応答

  11.3 対話

  11.4 自然言語処理の過去・現在

ページの先頭へ