機械学習 CS231n Lesson4 ニューラルネットワーク

ニューラルネットワーク

もともとは脳や神経系の研究で機能を理解するためのモデルであるが、最近では機械学習のために最適化されているため、必ずしも脳機能のアナロジーにはなっていない。最適なアルゴリズムを追及したら脳の働きと同じになったというストーリーをイメージしていたが、そうではないようだ。

誤差逆伝搬法(Backpropagation)

勾配を代数的に求める方法。損失関数を最小にするときに勾配を求めるが、解析的に求められない場合もあるため、このアルゴリズムによって代数的に求める。微分のチェーンルールを繰り返し求めることにより、複雑な関数を部分に分けて計算できる。ニューラルネットワークの関数は大規模になるため、この方法が有用である。