ここでは、適切な学習手法を選択します。
一般的な学習手法は、2つのコンセプトで構成されています。
損失関数
損失関数は、ニューラルネットワークが学習する量を定義し、誤差項と正則化項で構成されています。
誤差項としては、正規化二乗誤差を選択しました。
これは、ニューラルネットワークからの出力値とデータセット内のターゲットの値との間の二乗誤差を、その正規化係数で割ったものです。
正規化二乗誤差の値が1であれば、ニューラルネットワークはデータを"平均的に"予測していることを意味し、0であればデータを完全に予測していることを意味します。
この誤差項には、設定するパラメータはありません。
正則化項は、L2正則化です。
これは、パラメータの値を減らすことで、ニューラルネットワークの複雑さを制御するために適用されます。
この正則化項には弱い重みを使用しています。
最適化アルゴリズム
最適化アルゴリズムは、損失指数を最小化するようなニューラルネットワークのパラメータの探索を担います。
ここでは、準ニュートン法を最適化アルゴリズムとして採用しました。
下の図は、訓練データ(青)と検証データ(オレンジ)の誤差が、学習中のエポック(繰り返し回数)に応じて減少する様子を示しています。
最終的な値はそれぞれ、訓練誤差=0.260NSE、検証誤差=0.263NSEとなります。