コース概要
コースは 3 日間に分かれており、3 日目はオプションです。
1 日目 - Machine Learning と深層学習: 理論的概念
1. 概要 IA、Machine Learning と深層学習
- この分野が持つ空想とはかけ離れた人工知能の歴史、基本概念、通常の応用
- 集合的インテリジェンス: 多数の仮想エージェントによって共有される知識の集合体
- 遺伝的アルゴリズム: 選択による仮想エージェントの集団の進化
- Machine Learning 通常: 定義。
- 種類: 教師あり学習、教師なし学習、強化学習
- アクションの種類: 分類、回帰、クラスタリング、密度推定、次元削減
- アルゴリズムの例 Machine Learning: 線形回帰、ナイーブ ベイズ、ランダム ツリー
- 機械学習 VS 深層学習: 機械学習が今日でも最先端である問題 (Random Forest および XGBoost)
2. ニューラルネットワークの基本概念(応用:多層パーセプトロン)
- 数学の基礎を思い出させます。
- ニューラル ネットワークの定義: 古典的なアーキテクチャ、以前のアクティベーションのアクティベーションと重み付け関数、ネットワークの深さ
- ニューラル ネットワークの学習の定義: コスト関数、逆伝播、確率的勾配降下法、最尤法。
- ニューラル ネットワークのモデリング: 問題の種類 (回帰、分類など) に応じた入出力データのモデリング。次元の呪い。多特徴データと信号の区別。データに応じたコスト関数の選択。
- ニューラルネットワークを使用した関数の近似: プレゼンテーションと例
- ニューラルネットワークを使用した分布の近似: プレゼンテーションと例
- データ拡張: データセットのバランスをとる方法
- ニューラル ネットワークの結果の一般化。
- ニューラル ネットワークの初期化と正則化: L1/L2 正則化、バッチ正規化...
- 最適化と収束アルゴリズム。
3. 一般的な ML/DL ツール
メリット、デメリット、エコシステム内での位置づけ、用途などをわかりやすくプレゼンテーションする予定です。
- データ管理ツール: Apache Spark、Apache Hadoop
- いつも使うツールMachine Learning:Numpy、Scipy、Sci-kit
- フレームワーク DL 今日のレベル: PyTorch、Keras、Lasagne
- 低レベル DL フレームワーク: Theano、Torch、Caffe、Tensorflow
2 日目 – 畳み込みネットワークとリカレント ネットワーク
4. 畳み込み Neural Networks (CNN)。
- CNN のプレゼンテーション: 基本原理と応用
- CNN の基本的な操作: 畳み込み層、カーネルの使用、パディングとストライド、特徴マップの生成、「プーリング」タイプの層。 1D、2D、および 3D 拡張子。
- 画像分類に最先端技術をもたらしたさまざまな CNN アーキテクチャのプレゼンテーション: LeNet、VGG Networks、Network in Network、Inception、Resnet。各アーキテクチャとそのよりグローバルなアプリケーション (1x1 畳み込みまたは残留接続) によってもたらされるイノベーションのプレゼンテーション
●注目モデルを使用。
- 通常の分類シナリオへの適用 (テキストまたは画像)
- 生成用の CNN: 超解像度、ピクセルごとのセグメンテーション。画像を生成するための特徴マップを拡張するための主な戦略のプレゼンテーション。
5. 再発 Neural Networks (RNN)。
- RNN のプレゼンテーション: 基本原理と応用。
- RNN の機能: 隠れた活性化、時間を経た逆伝播、展開されたバージョン。
- GRU (Gated Recurrent Units) および LSTM (Long Short Term Memory) に向けた開発。さまざまな状態とこれらのアーキテクチャによってもたらされる発展のプレゼンテーション
- 勾配の収束と消滅の問題
- 古典的なアーキテクチャの種類: 時系列の予測、分類...
- RNN エンコーダ デコーダ タイプのアーキテクチャ。アテンションモデルを使用。
- アプリケーション NLP : 単語/文字エンコーディング、翻訳。
- ビデオ アプリケーション: ビデオ シーケンスの次に生成される画像の予測。
3 日目 – 世代モデルと Reinforcement Learning
6. 世代モデル: variational AutoEncoder (VAE) および Generative Adversarial Networks (GAN)。
- 世代モデルのプレゼンテーション、2 日目に見られた CNN とのリンク
- 自動エンコード: 次元の削減と限定された生成
- 変分自動エンコーダ: 世代モデルとデータ分布の近似。潜在空間の定義と使用。再パラメータ化のトリック。アプリケーションと観察される制限
- 敵対的生成ネットワーク: 基本原則。交互学習を備えた 2 つのネットワーク アーキテクチャ (ジェネレーターとディスクリミネーター)、コスト関数が利用可能。
- GAN の収束と遭遇する困難。
- 収束性の向上: Wasserstein GAN、BeGAN。地球の移動距離。
- 画像や写真の生成、テキストの生成、超解像度のアプリケーション。
7.ディープReinforcement Learning。
- 強化学習のプレゼンテーション: 状態と可能なアクションによって定義された環境におけるエージェントの制御
- ニューラルネットワークを使用して状態関数を近似する
- Deep Q Learning: 体験のリプレイ、およびビデオ ゲームの制御への応用。
- 学習ポリシーの最適化。オンポリシーとオフポリシー。アクタークリティカルアーキテクチャ。 A3C。
- アプリケーション: 単純なビデオ ゲームまたはデジタル システムの制御。
要求
エンジニア・レベル