ディープニューラルネットワークの理解のトレーニングコース

第1部 – 深層学習とDNNの概念

AI、機械学習、深層学習の導入

• 人工知能の歴史、基本概念、通常のアプリケーション。この分野で持たれる幻想から離れたもの
• 集合的知能：多くの仮想エージェントが共有する知識を集約する
• 進化アルゴリズム：選択によって仮想エージェントの集団を進化させる
• 機械学習の定義。
• タスクの種類：教師あり学習、教師なし学習、強化学習
• アクションの種類：分類、回帰、クラスタリング、密度推定、次元削減
• 機械学習アルゴリズムの例：線形回帰、ナイーブベイズ、ランダムツリー
• 機械学習 vs 深層学習：機械学習が今日でも最先端である問題（Random Forests & XGBoosts）

ニューラルネットワークの基本概念（アプリケーション：多層パーセプトロン）

• 数学的基礎の復習。
• ニューロンネットワークの定義：古典的なアーキテクチャ、活性化、
• 以前の活性化の重み付け、ネットワークの深さ
• ニューロンネットワークの学習の定義：コスト関数、バックプロパゲーション、確率的勾配降下法、最大尤度。
• ニューラルネットワークのモデリング：問題の種類（回帰、分類など）に応じた入力データと出力データのモデリング。次元の呪い。
• 多特徴データと信号の区別。データに応じたコスト関数の選択。
• ニューラルネットワークによる関数の近似：紹介と例
• ニューラルネットワークによる分布の近似：紹介と例
• データ拡張：データセットをバランスさせる方法
• ニューロンネットワークの結果の一般化。
• ニューラルネットワークの初期化と正則化：L1 / L2 正則化、バッチ正規化
• 最適化と収束アルゴリズム

標準的なML / DLツール

advantages, disadvantages, position in the ecosystem, and usage are planned.

• データ管理ツール：Apache Spark、Apache Hadoop Tools
• 機械学習：Numpy、Scipy、Sci-kit
• 高レベルのDLフレームワーク：PyTorch、Keras、Lasagne
• 低レベルのDLフレームワーク：Theano、Torch、Caffe、Tensorflow

畳み込みニューラルネットワーク（CNN）。

• CNNの紹介：基本原理とアプリケーション
• CNNの基本操作：畳み込み層、カーネルの使用、
• パディング & ストライド、特徴マップ生成、プーリング層。1D、2D、3Dへの拡張。
• 分類で最先端をもたらした異なるCNNアーキテクチャの紹介
• 画像：LeNet、VGG Networks、Network in Network、Inception、Resnet。各アーキテクチャがもたらした革新とそのより一般的なアプリケーション（1x1畳み込みや残差接続）の紹介。
• 注意モデルの使用。
• 一般的な分類ケース（テキストまたは画像）への適用
• 生成用CNN：超解像度、ピクセル単位のセグメンテーション。紹介。
• 画像生成のための特徴マップを増加させる主要な戦略

再帰的ニューラルネットワーク（RNN）。

• RNNの紹介：基本原理とアプリケーション。
• RNNの基本操作：隠れ活性化、時間方向のバックプロパゲーション、展開バージョン。
• Gated Recurrent Units（GRUs）とLSTM（Long Short Term Memory）への進化。
• これらのアーキテクチャがもたらした異なる状態と進化の紹介
• 収束と消失勾配の問題
• クラシカルなアーキテクチャ：時系列の予測、分類...
• RNNエンコーダデコーダ型アーキテクチャ。注意モデルの使用。
• NLPアプリケーション：単語 / 文字エンコーディング、翻訳。
• ビデオアプリケーション：ビデオシーケンスの次の生成画像の予測。

生成モデル：Variational AutoEncoder（VAE）とGenerative Adversarial Networks（GAN）。

• 生成モデルの紹介、CNNとの関連
• 自動エンコーダ：次元削減と限定的な生成
• 変分自動エンコーダ：生成モデルと分布の近似。潜在空間の定義と使用、パラメータ再設定トリック。アプリケーションと観察された限界
• 生成対抗ネットワーク：基本原理。
• 二重ネットワークアーキテクチャ（ジェネレータとディスクリミネータ）の交互学習、利用可能なコスト関数。
• GANの収束と遭遇する困難。
• 収束改善：Wasserstein GAN、BEGAN。移動距離。
• 画像や写真の生成、テキスト生成、超解像度へのアプリケーション。

深層強化学習。

• 強化学習の紹介：定義された環境でのエージェントの制御
• 状態と可能なアクションによって
• ニューラルネットワークを使用して状態関数を近似する
• Deep Q Learning：経験再生、ビデオゲームの制御への応用。
• 学習方策の最適化。On-policy && off-policy。アクターキリティアーキテクチャ。A3C。
• アプリケーション：単一ビデオゲームやデジタルシステムの制御。

第2部 – 深層学習用Theano

Theanoの基本

• 導入
• インストールと設定

TheanoFunctions

• inputs, outputs, updates, givens

Theanoを使用したニューラルネットワークの訓練と最適化

• ニューラルネットワークモデリング
• ロジスティック回帰
• 隠れ層
• ネットワークの訓練
• 計算と分類
• 最適化
• Log Loss

モデルのテスト

第3部 – Tensorflowを使用したDNN

TensorFlowの基本

• TensorFlow変数の作成、初期化、保存、復元
• TensorFlowデータのフィード、読み込み、プリロード
• TensorFlowインフラストラクチャを使用して大規模なモデル訓練を行う方法
• TensorBoardを使用したモデルの可視化と評価

TensorFlowのメカニズム

• データ準備
• ダウンロード
• 入力とプレースホルダー
• グラフの構築
  • 推論
  • 損失
  • 訓練
• モデルの訓練
  • グラフ
  • セッション
  • 訓練ループ
• モデルの評価
  • 評価グラフの構築
  • 評価出力

パーセプトロン

• 活性化関数
• パーセプトロン学習アルゴリズム
• パーセプトロンによる2値分類
• パーセプトロンによる文書分類
• パーセプトロンの制限

パーセプトロンからサポートベクターマシンへの展開

• カーネルとカーネルトリック
• 最大マージン分類とサポートベクター

人工ニューラルネットワーク

• 非線形決定境界
• フィードフォワードとフィードバック人工ニューラルネットワーク
• 多層パーセプトロン
• コスト関数の最小化
• 順伝播
• 逆伝播
• ニューラルネットワークの学習を改善する方法

畳み込みニューラルネットワーク

• 目標
• モデルアーキテクチャ
• 原理
• コードの組織化
• モデルの起動と訓練
• モデルの評価

以下のモジュールに基本的な紹介を提供する（時間の都合により簡易的な紹介が行われる予定です）：

Tensorflow - 高度な使用法

• スレッディングとキュー
• 分散TensorFlow
• ドキュメンテーションの作成とモデルの共有
• カスタムデータリーダーの使用
• TensorFlowモデルファイルの操作

TensorFlow Serving

• 導入
• 基本的なサーブングチュートリアル
• 高度なサーブングチュートリアル
• Inceptionモデルのサーブングチュートリアル