次のステップは、適切な学習手法の設定です。
一般的な学習手法は、以下の2つからなります。
損失関数
損失指数は、ニューラルネットワークが学習する量を定義し、誤差項と正則化項で構成されています。
誤差項としては、正規化二乗誤差を選択しました。
これは、ニューラルネットワークからの出力値とデータセット内のターゲットの値との間の二乗誤差を、その正規化係数で割ったものです。
正規化二乗誤差の値が1であれば、ニューラルネットワークはデータを"平均的に"予測していることを意味し、0であればデータを完全に予測していることを意味します。
この誤差項には、設定するパラメータはありません。
正則化項は、L2正則化です。
これは、パラメータの値を減らすことで、ニューラルネットワークの複雑さを制御するために用いられます。
この正則化項には弱い重みを使用しています。
最適化アルゴリズム
最適化アルゴリズムは、損失指数を最小化するようなニューラルネットワークのパラメータの探索を担います。
ここでは、準ニュートン法を最適化アルゴリズムとして採用しました。
下の図は、学習過程において学習誤差(青)と検証誤差(オレンジ)が、エポック数(学習の繰り返し回数)に応じて減少する様子を示しています。
最終的な値は、訓練誤差=0.057NSE、検証誤差=0.067NSEとなりました。