sklearn随机森林
newsun-boki Lv3

sklearn随机森林

本文基于菜菜的sklearn教学

@[toc]

随机森林分类器

概述

随机森林是一种集成算法,即运用大量不同的算法,选出最优的一个,主要是基于决策树。

引入包

1
2
3
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_wine

导入数据

1
2
3
wine = load_wine()
print(wine.data.shape)
print(wine.target)

划分测试集和训练集

1
2
from sklearn.model_selection import train_test_split
Xtrain,Xtest,Ytrain,Ytest = train_test_split(wine.data,wine.target,test_size = 0.3)

核心代码

1
2
3
4
5
rfc = RandomForestClassifier(random_state = 0)
rfc = rfc.fit(Xtrain,Ytrain)
score_r = rfc.score(Xtest,Ytest)

print("Random Forest:{}".format(score_r))

和决策树几乎一模一样,核心代码似乎也就这么几行:

  • 建立分类器rfc
  • 带入数据进行训练
  • 利用测试集给出评分

特征重要性

可以输出模型中每一个特征的重要性程度

1
print(rfc.feature_importances_)

下面是这么多次交叉验证之后所得到的准确率变化

预测

Xtest可以换成所需要预测的数据,返回对应的标签

1
rfc.predict(Xtest)

交叉验证

交叉验证就是不断的重新划分训练集和数据集进行验证,注意交叉验证的时候是不用fit()

1
2
3
4
5
6
7
8
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
rfc = RandomForestClassifier(n_estimators = 25)
rfc_s = cross_val_score(rfc,wine.data,wine.target,cv = 10)

plt.plot(range(1,11), rfc_s,label = "RandomForest")
plt.legend()
plt.show()

下面给出十次交叉验证的得分
在这里插入图片描述

参数讲解

随机森林中的参数大多数与决策树中的参数差不多,最重要的是:

  • n_estimator 森林中树中的个数,显然个数越多结果越准确。
    其他的建议看这位大佬的

随机森林回归

分类和回归的区别其实就是一个变量是分类变量,一个变量是连续变量。对于sklearn来说几乎没什么区别

1
2
3
4
5
6
7
from sklearn.datasets import load_boston
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestRegressor

boston = load_boston()
reg = RandomForestRegressor(n_estimators = 100,random_state = 0)
cross_val_score(reg, boston.data, boston.target, cv = 10 ,scoring = "neg_mean_squared_error")

其他都和分类树一样

案例分析

随机森林在乳腺癌数据上的调参

基础代码

下面调用了乳腺癌患者的例子,给出10次交叉验证的结果

1
2
3
4
5
6
7
8
9
10
11
12
13
14
from sklearn.datasets import load_breast_cancer
from sklearn.impute import SimpleImputer
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

data = load_breast_cancer()

rfc = RandomForestClassifier(n_estimators=100,random_state=90)
score_pre = cross_val_score(rfc,data.data,data.target,cv=10).mean()
print(score_pre)

最后结果为0.9648809523809524,还是比较准确的

调参

但是我还是不满意,于是我使用了200次循环,每次循环取十次交叉验证的平均值,并逐次增加树的数量

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
data = load_breast_cancer()

scorel = []
for i in range(0,200,10):
rfc = RandomForestClassifier(n_estimators=i+1,n_jobs=-1,random_state=90)
score = cross_val_score(rfc,data.data,data.target,cv=10).mean()
scorel.append(score)
print(max(scorel),(scorel.index(max(scorel))*10)+1)
plt.figure(figsize=[20,5])
plt.plot(range(1,201,10),scorel)
plt.show()

结果有在这里插入图片描述

结语

菜菜后面还写了一堆调参的,但对我一个只打一打美赛的菜鸡好像其实用不到这么多,感兴趣的自己去b站搜菜菜的sklearn吧

  • Post title:sklearn随机森林
  • Post author:newsun-boki
  • Create time:2021-11-02 01:11:37
  • Post link:https://github.com/newsun-boki2021/11/02/python-rdf/
  • Copyright Notice:All articles in this blog are licensed under BY-NC-SA unless stating additionally.