E資格の勉強内容まとめDay4「ReLUの一般化」

こんにちは、ぽめた (@pometa0507) です。
社会人エンジニアとして働く傍ら、AI資格の「E資格」取得に向けてディープラーニングの勉強をしています。

この連載は、E資格の勉強中に学んだ内容を記事としてまとめるものです。 E資格を受験される方のおさらいや、E資格に興味のある方の参考となれば幸いです。

前回(第3回目)は、隠れユニットの活性化関数について取り上げました。第4回目の今回は、活性化関数の続きとして「ReLUの一般化」を紹介します。

第1回目の記事:E資格の勉強内容まとめDay1「ディープラーニングの概要」
第2回目の記事:E資格の勉強内容まとめDay2「パーセプトロン」
第3回目の記事:E資格の勉強内容まとめDay3「活性化関数」



活性化関数

まずは前回のおさらいです。

ニューラルネットワークでは、隠れユニットに非線形な活性化関数を適用することで、表現力の高いネットワークを構築することができます。

下の図はアフィン変換+活性化関数の構成の例を示したものです。

この画像には alt 属性が指定されておらず、ファイル名は image-39-600x439.png です
アフィン変換+活性化関数

前の層の\( \mathbf{x} \) をアフィン変換で\( \mathbf{a} \)に変換したのち、活性化関数 \( \phi \)にて \( \mathbf{h} \) に変換することで次の層へ伝搬しています。

この処理を式で表すと次のようになります。

$$ \Large \mathbf{h} = \phi ( \mathbf{W^T x} + \mathbf{b} ) $$

活性化関数にはいくつか種類があります。
前回は代表的な活性化関数として以下の4つを紹介しました。

  • ステップ関数
  • シグモイド関数
  • tanh(ハイパボリックタンジェント)関数
  • ReLU関数

これらをグラフで表すとこのようになります。

この画像には alt 属性が指定されておらず、ファイル名は image-64.png です
代表的な活性化関数

この中でも、現在はReLU関数を使うことが一般的となっています。

活性化関数による表現力向上の例「XOR」

このコンテンツを閲覧するには無料会員ログインが必要です。会員の方はログインして下さい。
新規無料会員登録はこちら

業界から探す

PAGE TOP