深層ニューラルネットワークの理解のトレーニングコース

Part 1 – 深層学習とDNNの概念

人工知能（AI）、機械学習、深層学習の概要

• 人工知能の歴史、基本概念、およびこの分野で抱かれる幻想を超えた一般的な応用
• 集団知能：多数の仮想エージェントによって共有される知識を集約すること
• 遺伝的アルゴリズム：選択により仮想エージェントの集団を進化させること
• 一般的な学習機械：定義。
• タスクの種類：教師あり学習、教師なし学習、強化学習
• 操作の種類：分類、回帰、クラスタリング、密度推定、次元削減
• 機械学習アルゴリズムの例：線形回帰、ナイーブベイズ、ランダムフォレスト
• 機械学習と深層学習：現在、機械学習が最先端（Random Forests & XGBoosts）であり続ける問題

ニューラルネットワークの基本概念（応用：多層パーセプトロン）

• 数学的基礎の復習。
• ニューロンネットワークの定義：古典的アーキテクチャ、活性化関数
• 過去の活性化への重み付け、ネットワークの深さ
• ニューロンネットワークの学習の定義：コスト関数、バックプロパゲーション、確率的勾配降下法、最尤推定。
• ニューラルネットワークのモデリング：問題の種類（回帰、分類など）に応じて入出力データをモデリング。次元の呪い。
• 多機能データとシグナルの区別。データに応じたコスト関数の選択。
• ニューロンネットワークによる関数の近似：紹介と例
• ニューロンネットワークによる分布の近似：紹介と例
• データ拡張：データセットのバランスを取る方法
• ニューロンネットワークの結果の汎化。
• ニューラルネットワークの初期化と正則化：L1 / L2正則化、バッチ正規化
• 最適化および収束アルゴリズム

標準的なML / DLツール

メリット、デメリット、エコシステムでの位置づけ、用途についての簡潔な紹介が行われます。

• データ管理ツール：Apache Spark, Apache Hadoop Tools
• 機械学習：Numpy, Scipy, Sci-kit
• DLハイレベルフレームワーク：PyTorch, Keras, Lasagne
• DLローレベルフレームワーク：Theano, Torch, Caffe, TensorFlow

畳み込みニューラルネットワーク（CNN）。

• CNNの紹介：基本原理と応用
• CNNの基本的な動作：畳み込み層、カーネルの使用
• Padding & stride、特徴マップの生成、プーリング層。1D、2D、3Dへの拡張。
• 分類において最先端を実現した異なるCNNアーキテクチャの紹介
• 画像：LeNet, VGG Networks, Network in Network, Inception, Resnet。各アーキテクチャがもたらした革新と、より広範な応用（1x1畳み込みや残差接続など）の紹介
• 注意モデルの使用。
• 一般的な分類ケース（テキストまたは画像）への応用
• 生成のためのCNN：超解像、ピクセルごとのセグメンテーション。紹介
• 画像生成のために特徴マップを増やす主な戦略。

再帰型ニューラルネットワーク（RNN）。

• RNNの紹介：基本原理と応用。
• RNNの基本的な動作：隠れ層の活性化、時間軸に沿ったバックプロパゲーション、アンフォールドバージョン。
• ゲート付き再帰ユニット（GRU）やLSTM（Long Short Term Memory）への進化。
• 異なる状態と、これらのアーキテクチャがもたらした進化の紹介
• 収束と勾配消失の問題
• 古典的アーキテクチャ：時間系列の予測、分類 ...
• RNNエンコーダーデコーダー型のアーキテクチャ。注意モデルの使用。
• NLPの応用：ワード/キャラクターエンコーディング、翻訳。
• ビデオ応用：ビデオシーケンスの次の生成される画像の予測。

生成モデル：変分オートエンコーダ（VAE）と敵対的生成ネットワーク（GAN）。

• 生成モデルの紹介、CNNとの関連
• オートエンコーダ：次元削減と限定的な生成
• 変分オートエンコーダ：生成モデルと与えられた分布の近似。潜在空間の定義と使用。再パラメータ化トリック。観察された応用と限界
• 敵対的生成ネットワーク：基礎知識。
• 双方向ネットワークアーキテクチャ（ジェネレーターとディスクリミネーター）と交互学習、利用可能なコスト関数。
• GANの収束と遭遇する困難。
• 収束の改善：Wasserstein GAN, Began。土の移動距離。
• 画像や写真、テキストの生成、超解像への応用。

深層強化学習。

• 強化学習の紹介：定義された環境におけるエージェントの制御
• 状態と可能なアクションにより
• ニューラルネットワークを使用して状態関数を近似すること
• Deep Q Learning：経験再生、およびビデオゲームの制御への応用。
• 学習ポリシーの最適化。オンポリシー & オフポリシー。アクタークリティックアーキテクチャ。A3C。
• 応用：単一のビデオゲームまたはデジタルシステムの制御。

Part 2 – 深層学習のためのTheano

Theanoの基礎

• 概要
• インストールと設定

TheanoFunctions

• inputs, outputs, updates, givens

Theanoを使用したニューラルネットワークの学習と最適化

• ニューラルネットワークのモデリング
• 論理回帰
• 隠れ層
• ネットワークの学習
• 計算と分類
• 最適化
• 対数損失

モデルのテスト

Part 3 – TensorFlowによるDNN

TensorFlowの基礎

• TensorFlow変数の作成、初期化、保存、復元
• TensorFlowデータの投入、読み込み、事前読み込み
• TensorFlowのインフラストラクチャを使用して大規模にモデルを学習する方法
• TensorBoardを使用したモデルの可視化と評価

TensorFlowの仕組み

• データの準備
• ダウンロード
• 入力とプレースホルダー
• グラフの構築
  • 推論
  • 損失
  • 学習
• モデルの学習
  • グラフ
  • セッション
  • 学習ループ
• モデルの評価
  • 評価グラフの構築
  • 評価出力

パーセプトロン

• 活性化関数
• パーセプトロン学習アルゴリズム
• パーセプトロンによる二項分類
• パーセプトロンによる文書分類
• パーセプトロンの限界

パーセプトロンからサポートベクターマシンへ

• カーネルとカーネルトリック
• 最大マージン分類とサポートベクトル

人工ニューラルネットワーク

• 非線形な決定境界
• フィードフォワードおよびフィードバック人工ニューラルネットワーク
• 多層パーセプトロン
• コスト関数の最小化
• 前方伝播
• 後方伝播
• ニューラルネットワークの学習方法の改善

畳み込みニューラルネットワーク

• 目標
• モデルアーキテクチャ
• 原理
• コードの組織化
• モデルの起動と学習
• モデルの評価

以下のモジュールへの基本的な紹介（時間の許す範囲で簡潔な紹介を提供）：

TensorFlow - 高度な使用方法

• スレーディングとキュー
• 分散型TensorFlow
• ドキュメントの作成とモデルの共有
• データリーダーのカスタマイズ
• TensorFlowモデルファイルの操作

TensorFlow Serving

• 概要
• 基本的なサービングチュートリアル
• 高度なサービングチュートリアル
• Inceptionモデルのサービングチュートリアル