こんにちは、ぽめた （@pometa0507） です。社会人エンジニアとして働く傍ら、AI資格の「E資格」取得に向けてディープラーニングの勉強をしています。

この連載は、E資格の勉強中に学んだ内容を記事としてまとめるものです。 E資格を受験される方のおさらいや、E資格に興味のある方の参考となれば幸いです。

前回の記事（Day4）では、隠れユニットの活性化関数の続きとしてReLUの一般化について取り上げました。今回のDay5では、「出力ユニット」について紹介します。

これまでの記事
Day1の記事「ディープラーニングの概要」
Day2の記事「パーセプトロン」
Day3の記事「活性化関数」
Day4の記事「ReLUの一般化」

隠れユニットと出力ユニット

まずは、ニューラルネットワークの順伝搬処理について振り返ってみます。順伝搬とは、ニューラルネットワークの入力から出力まで順番にデータを伝搬させる処理のことでした（推論で用いられる処理ですね）。

次の層へのデータ伝搬は基本的に、アフィン変換＋活性化関数によって行われます。

ここでニューラルネットワークの中間層と出力層で利用する関数をそれぞれ「隠れユニット」と「出力ユニット」と呼びます。

下の図で緑色の〇が隠れユニットで、赤色の〇が出力ユニットにあたります。