目次

第1章 並列化のツボとは?

  1.1 並列化とは

  1.2 なぜ並列化するのか?

  1.3 本書の位置づけ

  1.4 並列プログラミングとは

  1.5 実例:どうやって並列化をするか

  1.6 各章の演習問題と解答プログラムについて

  1.7 本章のまとめ

  1.8 演習問題

第2章 並列対象を探せ!

  2.1 自明並列性

  2.2 ループ並列性

  2.3 ジョブレベルの並列性

  2.4 並列計算機を使わずエミュレーションする方法

  2.5 実例:行列-行列積の並列化

  2.6 本章のまとめ

  2.7 演習問題

第3章 データ分散は負荷分散だ!

  3.1 データ分散がなぜ必要か

  3.2 データ分散の種類

  3.3 数学的表記と実現法

  3.4 実例:ブロック分散

  3.5 実例:サイクリック分散

  3.6 実例:ブロック・サイクリック分散

  3.7 実例:任意データ分散

  3.8 実例:疎行列-ベクトル積への適用

  3.9 本章のまとめ

第4章 機械学習を並列化せよ!

  4.1 機械学習とは

  4.2 深層学習の並列化:データ並列性とモデル並列性

  4.3 実例:スパコンでの実行例

  4.4 本章のまとめ

  4.5 演習問題

第5章 憧れの分散並列化へ!

  5.1 ノード内並列化

  5.2 ノード間並列化

  5.3 ハイブリッド並列化

  5.4 実例:疎行列-ベクトル積でのハイブリッド並列化例

  5.5 本章のまとめ

  5.6 演習問題

第6章 より深く学ぶために

  6.1 並列プログラミングの観点から

  6.2 数値計算の観点から

  6.3 機械学習の観点から

  6.4 今後の展望:自動チューニングの観点から

ページの先頭へ