ここをクリック

答え：
D

解説：
　まず、過学習とは訓練データに適合しすぎるがゆえに、訓練したデータ以外のデータを用いたときに正解率が低くなってしまう状態のことをいいます。Weight decayはその過学習を抑制するための手法であるといえます。過学習の原因としては、重みが大きくなってしまうことにあります。したがって、重みが大きくならないように損失関数にペナルティを課す方法です。

　なぜ損失関数にペナルティを課すかを説明します。損失関数の値をもとに、正解との差が小さくなるようにパラメータを更新していきます。つまり、損失関数の値を変更することができれば、重みの値を自由自在に操ることができるというわけです。そのため、重みが大きくならないようにできるというわけです。

　ペナルティの任意の値としては、一般的に重みの各要素の2乗を足し合わせたものに「任意の定数」をかけあわせたものをペナルティに用います。任意の定数に関してはハイパーパラメータです。このパラメータを調整することによって重みの値をコントロールするというわけです。例えば、任意定数を大きくすればするほど、大きな重みを取ることに対して強いペナルティを課すことになります。

　このように、Weight decayは過学習を抑制する方法として知られています。少し理解が難しい手法かもしれませんが、過学習の原因が重みにあるならば、学習の過程に対して、何らかの変化を加えることは当然の考えに思えます。