随机森林算法与集成学习 -- 潘登同学的Machine Learning笔记

@

书接上文，经典决策树CART、ID3与C4.5，我们构建了一颗树来解决分类、拟合问题，但是一棵树的缺点也很明显，就是容易过拟合；再说了，就算一棵树再强大，也不可能强过好几颗吧，正所谓 ~~三个诸葛亮顶个臭皮匠~~嘛... 而随机森林就是这样一个有很多颗小树组成的一片森林，核心思路就是让每颗小树投票解决；

聚合模型

同权重

$$ G(X) = sign(\sum_{t=1}^T 1*g_t(x)) $$

变量解释：

• $G(X)$表示最终结果，$sign$是一个判断符号函数，最终判断为0或1
• $g_t(x)$表示每颗小树给出的预测结果
• $\sum$后面跟的1表示每颗小树的权重

不同权重

$$ G(X) = sign(\sum_{t=1}^T \alpha_t*g_t(x)) $$

其中，$\alpha_t$则表示第t颗小树的权重，之所以这样设置，目的是更相信某些树，可能有预想不到的结果，因为有时在村里面投票时，德高望重的村长可能能投两票；

如何生成$g(x)$

因为聚合模型需要很多颗不同的小树来构成，而现在我们要解决的问题就是，如何在同一组数据下生成不同的小树？

• 用同样的数据，但用不同的超参
• 同样的超参，不同样本（同一个data，但不给全部样本，给一部分）
• 同样的超参，不同属性（同一个data，但有的小树，只给一部分属性）
• 同样的超参，同样的样本和属性，但是数据权重不同

对于决策树算法来说，$g(t)$的构成也有两种思路:

Bagging（一袋子模型）

对训练集进行抽样，将抽样的结果用于训练集$g(x)$,可以并行、独立训练；如：随机森林。

Boosting（提升模型）

利用训练集训练出的模型，根据这次训练的预测结果，调整训练集，然后利用调整后的训练集训练下一个模型，串行；如：adaboost、GBDT、Xgbosst。

注意: Bagging与Boosting是一种集成学习的思路，可以用在机器学习的任何算法上，例如：

flowchart TD

id1[(Database)] --> id2((SVM)) & id3((LR)) & id4((DT))
id2((SVM)) --预测值1--> id5((LR))
id3((LR)) --预测值2--> id5((LR))
id4((DT)) --预测值3--> id5((LR))
id5((LR)) --> 最终预测值

随机森林

而随机森林就是聚合模型中的同权重那一类（Uniform Blending Voting for Classification）

思想：Bagging思想 + 决策树作为base model（每颗小树都是 fully gorwn CART） + Uniform Blending Voting

• 还记得前面的sign吗?

在随机森林中，sign就理解为少数服从多数，假如小树有100个，最终小树分别投票的结果是正例：负例 = 60：40，那么最终sign后的结果就是1；否则为0；

• 特点：
  • 高效并行
  • 继承决策树的优点
  • 减少决策树的过拟合问题

OOB问题(Out of bag data)

因为在构建小树的时候是随机抽样的，那么就会有没有被抽出的数据

数据样本数为m，一条数据m轮没有被抽到的概率为 $$ (1-\frac{1}{m})^m $$

当m趋近于无穷时 $$ \lim_{m\to\infty}(1-\frac{1}{m})^m = \frac{1}{e} $$

所以在大样本，很多棵小树的随机森林里，总会有$\frac{1}{e}$的样本是不会纳入训练集中的，这些数据可以作为测试集；

所以使用随机森林时，不需要对数据集进行划分，随机森林的OOB可以自我验证；

实战鸢尾花数据集

多种模型 + bagging

比较逻辑回归、随机森林、SVM、与将前面三个模型bagging起来的模型

from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import VotingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score

#VotingClassifier
log_clf = LogisticRegression()
rnd_clf = RandomForestClassifier()
svm_clf = SVC()

voting_clf = VotingClassifier(
    estimators=[('lr', log_clf), ('rf', rnd_clf), ('svc', svm_clf)],
    voting='hard'  #hard表示投票 除此之外还有soft 是把对分类最确定的（概率最大）的那个分类器的结果当做最终结果
)

iris = load_iris()
X = iris.data[:, :2]  # 花萼长度和宽度
y = iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=2)

# voting_clf.fit(X, y)


for clf in (log_clf, rnd_clf, svm_clf, voting_clf):
    clf.fit(X_train, y_train)
    y_pred = clf.predict(X_test)
    print(clf.__class__.__name__,'%.2f%%' %accuracy_score(y_test, y_pred))

• 结果如下：

显示的是错误率

随机森林OOB

上面采用的还是划分测试集与训练集的方式，而随机森林是不需要划分的，自己验证即可

#%%BaggingClassifier
iris = load_iris()
X = iris.data[:, :2]  # 花萼长度和宽度
y = iris.target


bag_clf = BaggingClassifier(
    DecisionTreeClassifier(), n_estimators=10,
    max_samples=1.0, bootstrap=True, n_jobs=1
)
#划分训练集和测试集的准确率
bag_clf.fit(X_train, y_train)
y_pred = bag_clf.predict(X_test)
print(y_pred)
y_pred_proba = bag_clf.predict_proba(X_test)
print(y_pred_proba)
print("bagging", accuracy_score(y_test, y_pred)) #查看正确率


# oob （利用随机森林本身的特点来查看正确率）
bag_clf = BaggingClassifier(
    DecisionTreeClassifier(), n_estimators=500,   #n_estimators表示500科小树
    bootstrap=True, n_jobs=1, oob_score=True      #bootstrap有放回抽样
)
bag_clf.fit(X, y)
print('oob',bag_clf.oob_score_)
# y_pred = bag_clf.predict(X_test)
# print(accuracy_score(y_test, y_pred))

print(bag_clf.oob_decision_function_)  #与上面y_pred_proba作用相似，只不过这里不需要测试集

• 采用测试集与OOB的验证结果

前者是采用测试集与训练集划分的结果，后者是OOB的方式，两者的差别不大

随机森林算法与集成学习, 继续下一章吧！pd的Machine Learning