Lasso調整型確率化平衡樹木による回帰解析 - 中村, 将俊; 坂本, 亘; 後藤, 昌司; 下川, 敏雄 (計算機統計学, 2013)
回帰解析の場面では,目的変数と説明変数の間にある(確率)モデルを想定し,そのモデルに則した形で観測データに対する統計的解釈を付与することが一般的である.しかし目的変数が1個,説明変数が複数個ある場面において,パラメータに関する線形性(加法性)を想定した線形回帰モデルでは現実の現象を捉えたモデルを構築することは困難である.一つの対処法は,モデル内に非線形構造および交互作用構造を含めることができる樹木構造接近法を用いることである.樹木構造接近法は,Breiman et al.(1984)による分類回帰樹木(CART:Classification and Regression Trees)法の提案以降,様々な手法が統計科学あるいはデータ・マイニングの分野で提案されている.近年では,樹木構造接近法の低い予測確度の問題を回避するためアンサンブル学習法が用いられている.アンサンブル学習法とは,複数の樹木予測子(弱学習器)を統合する方法であり,結果として高い予測確度を保つことができることが知られている.その代表的な手法の一つとして確率化平衡樹木(RF:Random Forest:Breiman,2001)法がある.また,このRF法における樹木の構築過程に縮小推定量を加味することで,より良好な推定量が得られることがFriedman&Popescu(2004)により指摘されている.本稿では,RF法に縮小推定量の一つであるLasso(Tibshirani,1996)を加味させたLasso調整型確率化平衡樹木(Lasso-RF)法を提案する.さらに,Lasso-RF法による回帰解析について,その推定確度を数個の実データの解析およびシミュレーションを通じて評価する.