Understanding Deep Neural Networksのトレーニングコース

パート 1 – Deep Learning と DNN の概念

はじめに AI、Machine Learning、ディープラーニング

人工知能の歴史、基本概念、および通常の応用 この分野が担っている幻想のうち、はるかに 集団知性: 多くの仮想エージェントによって共有される知識の集約 遺伝的アルゴリズム: 選択によって仮想エージェントの集団を進化させる 通常の学習機械: 定義。タスクの種類: 教師あり学習、教師なし学習、強化学習 アクションの種類: 分類、回帰、クラスタリング、密度推定、次元削減 機械学習アルゴリズムの例: 線形回帰、単純ベイズ、ランダム ツリー 機械学習 VS 深層学習: 問題現在でも機械学習が最先端技術である (Random Forest と XGBoost)

ニューラルネットワークの基本概念（応用：多層パーセプトロン）

数学的基礎を思い出させます。ニューロンのネットワークの定義: 古典的なアーキテクチャ、活性化と以前の活性化の重み付け、ネットワークの深さ ニューロンのネットワークの学習の定義: コスト関数、逆伝播、確率的勾配降下法、最尤度。ニューラル ネットワークのモデリング: 問題の種類 (回帰、分類など) に応じて入力データと出力データをモデリングします。次元の呪い。多特徴データと信号の区別。データに応じたコスト関数の選択。ニューロンのネットワークによる関数の近似: プレゼンテーションと例 ニューロンのネットワークによる分布の近似: プレゼンテーションと例 データ拡張: データセットのバランスをとる方法 ニューロンのネットワークの結果の一般化。ニューラル ネットワークの初期化と正則化: L1 / L2 正則化、バッチ正規化、最適化、収束アルゴリズム

標準の ML / DL ツール

メリット、デメリット、エコシステム内での位置づけ、用途などをわかりやすくプレゼンテーションする予定です。

データ管理ツール: Apache Spark、Apache Hadoop ツール 機械学習: Numpy、Scipy、Sci-kit DL 高レベル フレームワーク: PyTorch、Keras、Lasagne 低レベル DL フレームワーク: Theano、Torch、Caffe、Tensorflow

畳み込み Neural Networks (CNN)。

CNN のプレゼンテーション: 基本原理と応用 CNN の基本操作: 畳み込み層、カーネルの使用、パディングとストライド、特徴マップ生成、プーリング層。拡張子は 1D、2D、3D です。分類画像に最先端技術をもたらしたさまざまな CNN アーキテクチャのプレゼンテーション: LeNet、VGG Networks、Network in Network、Inception、Resnet。各アーキテクチャとそのよりグローバルなアプリケーション (畳み込み 1x1 または残差接続) によってもたらされるイノベーションのプレゼンテーション アテンション モデルの使用。一般的な分類ケース (テキストまたは画像) への CNN の生成への適用: 超解像度、ピクセル間のセグメンテーション。画像生成用の特徴マップを増やすための主な戦略のプレゼンテーション。

再発 Neural Networks (RNN)。

RNN のプレゼンテーション: 基本原理と応用。 RNN の基本操作: 隠れたアクティブ化、時間の経過に伴う逆伝播、展開されたバージョン。 Gated Recurrent Units (GRU) および LSTM (Long Short Term Memory) への進化。さまざまな状態とこれらのアーキテクチャによってもたらされる進化のプレゼンテーション 収束および消滅勾配問題 古典的なアーキテクチャ: 時系列の予測、分類 ... RNN エンコーダ デコーダ タイプのアーキテクチャ。注目モデルを使用。 NLP アプリケーション: 単語/文字エンコーディング、翻訳。ビデオ アプリケーション: ビデオ シーケンスの次に生成される画像の予測。

世代モデル: variational AutoEncoder (VAE) および Generative Adversarial Networks (GAN)。

世代モデルのプレゼンテーション、CNN とのリンク 自動エンコーダー: 次元の削減と世代の制限 変分自動エンコーダー: 世代モデルと与えられた分布の近似。潜在空間の定義と使用。再パラメータ化のトリック。観察されるアプリケーションと制限 敵対的生成ネットワーク: 基礎。代替学習を備えたデュアル ネットワーク アーキテクチャ (ジェネレーターとディスクリミネーター)、コスト関数が利用可能。 GAN の収束と遭遇する困難。収束性の向上: Wasserstein GAN、始まりました。地球の移動距離。画像や写真の生成、テキスト生成、超解像度などのアプリケーション。

深いReinforcement Learning。

強化学習のプレゼンテーション: 定義された環境におけるエージェントの制御 状態と可能なアクションによる ニューラル ネットワークを使用して状態関数を近似する ディープ Q ラーニング: 経験のリプレイ、およびビデオ ゲームの制御への応用。学習ポリシーの最適化。オンポリシーとオフポリシー。俳優評論家建築家。 A3C。用途: 単一のビデオ ゲームまたはデジタル システムの制御。

パート 2 – Deep Learning のテアノ

Theano の基本

はじめに インストールと構成

テアノ関数

入力、出力、更新、与えられたもの

Theano を使用したニューラル ネットワークのトレーニングと最適化

ニューラル ネットワーク モデリング ロジスティック回帰 隠れ層 ネットワークのトレーニング コンピューティングと分類の最適化 ログ損失

モデルのテスト

パート 3 – Tensorflow を使用した DNN

TensorFlow 基本

TensorFlow 変数の作成、初期化、保存、復元 TensorFlow データのフィード、読み取り、プリロード TensorFlow インフラストラクチャを使用して大規模なモデルをトレーニングする方法 TensorBoard を使用したモデルの視覚化と評価

TensorFlow 力学

データの準備 入力とプレースホルダーのダウンロード GraphS の構築 推論損失トレーニング

パーセプトロンからサポートベクターマシンまで

カーネルとカーネル トリック 最大マージン分類とサポート ベクトル

人工 Neural Networks

非線形決定境界 フィードフォワードおよびフィードバック人工ニューラル ネットワーク 多層パーセプトロン コスト関数の最小化 順伝播 逆伝播 ニューラル ネットワークの学習方法の改善

畳み込み Neural Networks

Goals モデル アーキテクチャの原則 コードの構成 モデルの起動とトレーニング モデルの評価

以下のモジュールについての基本的な説明が行われます (時間の都合に応じて簡単な説明が提供されます):

Tensorflow - 高度な使用法

スレッドとキューの分散 TensorFlow ドキュメントの作成とモデルの共有 データ リーダーのカスタマイズ TensorFlow モデル ファイルの操作

TensorFlow サービング

はじめに 基本的なサービス提供チュートリアル 高度なサービス提供チュートリアル サービス提供開始モデルのチュートリアル