応用で理解するバイアスとバリアンスの幾何学
２乗誤差をバイアスと分散に分解することを，バイアス・バリアンス分解と呼びます． ２乗誤差のままではコントロールできなかった誤差を制御することができるようになったりします．
本記事では杉山将先生と小川英光先生の共著論文を紹介して，その論文に対するバイアスとバリアンスの関係を幾何学的に説明します．
これは教師あり学習の逆問題を表した図です．
サンプリング作用素が関数空間から標本値空間への写像を表しており，学習作用素が学習結果へと対応しているへの写像に対応しています．
この図はヒルベルト空間で統計的能動学習を説明します．
統計的能動学習である論文で紹介されている手法では,
とその射影の
，
と
とが等しくなることを表しています．
バイアスとはこの図ではノイズのアンサンブル平均と
の積と
の距離＝分散を表しています．
数式は大変難しいので､説明しませんが（できませんが）この手法を用いて分散を最小化することよって，高い汎化性能を得ることができるそうです． とても興味深い論文なので読んでみると良いかと思います． 紹介しきれていないことが沢山書かれています．
Incremental Active Learning for Optimal Generalization [http://www.ms.k.u-tokyo.ac.jp/2000/inc-act.pdf
