back propagationとは？ わかりやすく解説

機械学習および データマイニング
問題 分類 クラスタリング 回帰 異常検知 相関ルール（英語版） 強化学習 構造化予測（英語版） 特徴量設計（英語版） 表現学習（英語版） オンライン学習 半教師あり学習 教師なし学習 ランキング学習（英語版） 文法獲得（英語版）
教師あり学習（分類 • 回帰） 決定木（英語版） アンサンブル （バギング、ブースティング、 ランダムフォレスト） k-NN 線形回帰 単純ベイズ ニューラルネットワーク ロジスティック回帰 パーセプトロン 関連ベクトルマシン (RVM)（英語版） サポートベクトルマシン (SVM)
クラスタリング BIRCH（英語版） 階層的（英語版） k平均法 期待値最大化法 (EM) DBSCAN OPTICS（英語版） 平均値シフト（英語版）
次元削減 因子分析 CCA ICA LDA（英語版） NMF PCA t-SNE
構造化予測（英語版） グラフィカルモデル ベイジアンネットワーク CRF HMM
異常検知 k-NN 局所外れ値因子法
ニューラルネットワーク オートエンコーダ ディープラーニング DeepDream 多層パーセプトロン RNN LSTM GRU 制約ボルツマンマシン（英語版） SOM CNN
強化学習 TD学習 Q学習 SARSA
理論 偏りと分散のトレードオフ 計算論的学習理論（英語版） 経験損失最小化（英語版） オッカム学習（英語版） PAC学習 統計的学習（英語版） VC理論（英語版）
学会・論文誌等 NIPS（英語版） ICML（英語版） ML（英語版） JMLR（英語版） ArXiv:cs.LG
応用 学習物理学
全般 統計学および機械学習の評価指標
Category:機械学習 Category:データマイニング
表 話 編 歴

バックプロパゲーション（英: backpropagation, backprop）または誤差逆伝播法（ごさぎゃくでんぱほう、英: error backpropagation）^[1]とは、ニューラルネットワークの損失関数のパラメータに関する偏微分を、自動微分のトップダウン型（リバース・モード）と同様の手法により、出力側から偏微分を計算し、誤差を伝播させる方法で、効率よく計算する手法である。一般的には、ここで計算した偏微分を使用し、確率的勾配降下法でニューラルネットワークを学習させる。用語は曖昧に使用されていて、バックプロパゲーションに確率的勾配降下法まで含んで使われている事も多い。^[2]

バックプロパゲーションは数理モデルであるニューラルネットワークのパラメータに関する偏微分を計算する手法で、確率的勾配降下法はパラメータを更新する（学習する）手法である。

バックプロパゲーションおよび確率的勾配降下法は次の通りである：

1. ニューラルネットワークに学習のためのサンプルを与える。
2. ネットワークの出力を求め、出力層における誤差を求める。その誤差を用い、各出力ニューロンについて誤差を計算する。
3. 個々のニューロンの期待される出力値と倍率 (scaling factor)、要求された出力と実際の出力の差を計算する。これを局所誤差と言う。
4. 各ニューロンの重みを局所誤差が小さくなるよう調整する。
5. より大きな重みで接続された前段のニューロンに対して、局所誤差の責任があると判定する。
6. そのように判定された前段のニューロンのさらに前段のニューロン群について同様の処理を行う。

誤差逆伝播法という名称が示唆するように、誤差（および学習）は出力ノードから入力ノードへと逆向きに伝播する。技術的に言えば、バックプロパゲーションはネットワーク上の変更可能なパラメータについて、誤差の傾斜、つまり損失関数の偏微分を計算するものである^[3]。数式での実際の計算方法は後述する。

出力側から偏微分を計算すると計算効率が良くなる理由は、損失関数の出力がスカラーであることに起因するのだが、詳細は自動微分を参照。

バックプロパゲーションで計算した偏微分値は、ほとんどの場合、損失関数の誤差を最小にするアルゴリズムである確率的勾配降下法と共に使用される。

${\displaystyle y}$