次のステップは学習手法の選択です。次の2つの要素からなります。
ニューラルネットワークの学習とは、損失関数を最小化する - つまりデータをよく近似し(=誤差項の最小化)、かつ安定的な(=正則化項の最小化) - ニューラルネットワーク(のパラメータ)を見つけることだと言えます。
損失関数
損失関数として、誤差項に正規化二乗誤差、正則化項にL2正則化を選びます。
正規化二乗誤差は、ニューラルネットワークの出力値と実際のターゲットの値との二乗誤差を正規化係数で割ったものです。
正規化二乗誤差が1ならばニューラルネットワークは"平均的に"データを予測しており、0ならば完全にデータを予測しています。
この誤差項には設定するパラメータはありません。
L2正則化は、変数のパラメータを減らしてニューラルネットワークの複雑性を制御するために用います。
ここでは正則化項に弱い重みをつけます。
最適化アルゴリズム
この例では、最適化アルゴリズムとして準ニュートン法を用います。
学習手法の設定が完了したら、ニューラルネットワークが最良の性能を得られるように学習をさせます。
下の図は学習の記録を示しています。
最終的な訓練誤差と検証誤差はそれぞれ、訓練誤差=0.153NSE、検証誤差=0.24NSEです。