決定木を改良したランダムフォレスト

アンサンブル学習という手法群をご存じでしょうか?
平たく言うと、“多数決”によって最終的な結果を求める手法を指します。
ランダムフォレストは決定木のアンサンブル学習器として発明され、
一般に、決定木よりも精度が高くなることから、
実際によく使用されています。

 

■生成手順
ランダムフォレストのモデル生成手順を以下に示します。
1.学習データを用意する。
2.ブートストラップ法を用いて学習データを複数作成する。

  同手法は内容の異なる複数の学習データを作成する手法です。
  手順1で与えられた学習データから、
  ランダムに復元抽出を行うことで作成します。

3.一部の特徴量をランダムに削除する。
4.手順3で得られた学習データから決定木を各々に作成する。

 

■予測方法
ランダムフォレストとは、生成手順4で得た複数の決定木そのものです。
実際に生成したモデルを用いて予測を行う場合は、
各予測対象データを各決定木に入力します。
各決定木の出力結果に対して多数決を行った結果が
ランダムフォレストの結果となります。