目次

1.はじめに

  1.1 無目的なロボット

  1.2 恒常性に基づく自律ロボットの行動統合とその生成

  1.3 サイバネティクスから計算論的神経科学へ

2.人工システムにおける生存

  2.1 恒常性の概念

  2.2 Ashbyの超安定システム

  2.3 先行研究におけるシミュレーション・エージェントの生存・恒常性

  2.4 先行研究における自律型ロボットの生存・恒常性

  2.5 背景研究を踏まえた機械獣研究の立場

  2.6 オートポイエーシスの自律性の議論と本研究の関係,および関心領域

3.強化学習

  3.1 エージェント・環境相互作用モデル

  3.2 MDPのダイナミクスと期待報酬

  3.3 価値関数・行動価値関数と最適方策

  3.4 MDPにおいてMarkov方策を用いる正当性

  3.5 方策勾配に基づく強化学習

  3.6 アクター・クリティックアーキテクチャ

  3.7 価値関数・アドバンテージ関数の推定

  3.8 一般化アドバンテージ推定

  3.9 深層強化学習

4.恒常性強化学習

  4.1 既存の恒常性に基づく動機づけ行動メカニズムに関する問題点

  4.2 恒常性強化学習:恒常性+強化学習

  4.3 恒常性強化学習の定式化

  4.4 関連するアプローチ

  4.5 内受容感覚の模倣学習としての恒常性強化学習

  4.6 認知発達ロボティクスにおける動機づけシステムの観点からの位置づけ

  4.7 強化学習におけるタスク統合問題との関係

  4.8 恒常性強化学習の応用における既存の問題

5.深層恒常性強化学習

  5.1 ニューラルホメオスタット

  5.2 先行研究における恒常性報酬

  5.3 報酬補正と補正恒常性報酬の関係

  5.4 実験の概要

  5.5 実験1:連続モータ制御による2資源環境(TRP)

  5.6 実験2:体温調節環境(thermal)でのエネルギーと体温の同時制御

  5.7 実験3:カメラ画像入力を用いたTRP環境

  5.8 個体性の発現:個別のエージェントの運動傾向

  5.9 探索行動の創発可能性

6.機械獣の構成

  6.1 なぜロボットを作るのか?

  6.2 機械獣の構成へのアプローチ

  6.3 機械獣のハードウェア構成

  6.4 機械獣の充電条件と実験手順

  6.5 出力の構成

  6.6 観測情報の構成

  6.7 シミュレータの構成

  6.8 深層恒常性強化学習による行動最適化

  6.9 機械獣の成立

7.機械獣研究の展開

  7.1 恒常性強化学習特有の性質に着目したネットワーク構造

  7.2 恒常性を原理とした動物行動のモデリング

  7.3 予測制御としてのアロスタシス

  7.4 恒常性に基づく動機づけが持つ多様な行動の創発能力

8.おわりに

  8.1 本書の限界と展望

  8.2 超長期での活動可能な完全自律認知発達ロボットに向けて

  8.3 パーソナルロボットの多様性と機械獣

  8.4 機械獣の幸福

ページの先頭へ