很久很久以前给大家写过决策树，非常简单明了的算法。今天给大家写随机（生存）森林，随机森林是集成了很多个决策数的集成模型。像随机森林这样将很多个基本学习器集合起来形成一个更加强大的学习器的这么一种集成思想还是非常好的。所以今天来写写这类算法。

集成学习方法

Ensemble learning methods are made up of a set of classifiers—e.g. decision trees—and their predictions are aggregated to identify the most popular result.

所谓的集成学习方法，就是把很多的比较简单的学习算法统起来用，比如光看一个决策树，好像效果比较单调，还比较容易过拟合，我就训练好多树，把这些树的结果综合一下，结果应该会好很多，用这么样思路形成的算法就是集成学习算法Ensemble methods，就是利用很多个基础学习器形成一个综合学习器。

Basically, a forest is an example of an ensemble, which is a special type of machine learning method that averages simple functions called base learners.The resulting averaged learner is called the ensemble

集成学习方法最有名的就是bagging 和boosting 方法：

The most well-known ensemble methods are bagging, also known as bootstrap aggregation, and boosting

BAGGing

BAGGing, or Bootstrap AGGregating这个方法把自助抽样和结果合并整合在一起，包括两个步骤，一个就是自助抽样，抽很多个数据集出来，每个数据集来训练一个模型，这样就可以有很多个模型了；第二步就是将这么多模型的结果合并出来最终结果，这个最终结果相对于单个模型结果就会更加稳健。

In the bagging algorithm, the first step involves creating multiple models. These models are generated using the same algorithm with random sub-samples of the dataset which are drawn from the original dataset randomly with bootstrap sampling method

The second step in bagging is aggregating the generated models.

随机森林就可以看作是遵循了bagging方法的一个思路，只不过在每一个抽样样本中的树（模型）是不一样的：

Boosting:

Boosting为强化学习，最大的特点是可以将原来的弱模型变强，逻辑在于算法会先后训练很多模型，后面训练模型的时候会不断地给原来模型表现不好的样本增大权重，使得后面的模型越来越将学习重点放在之前模型表现差的样本上，这么一来，整体模型越来越强。就像人会从之前的错误中反省经验一个意思了。

这么一描述大家就知道，boosting方法的模型训练是有先后顺序的，并行算法就用不了了

Boosting incrementally builds an ensemble by training each model with the same dataset but where the weights of instances are adjusted according to the error of the last prediction.

Boosting方法本身也有很多，常见的如AdaBoost，Gradient Boosting（XGBoost and LightGBM），下图感兴趣的同学可以看看：

上面的算法之后再给大家写，接下来的实操部分还是以随机森林为例子给大家具体介绍：

随机森林

随机森林模型的拟合过程大概可以分为三步：

1.通过有放回的自助抽样形成ntree个抽样样本集（Bootstrap）

2.对每个抽样样本集形成一个决策树，这个树是基于mtry个预测因子的

3.将最终的模型结果就是ntree个抽样样本集得出的结果的最大票数或者均值（AGGregating）

随机森林的整个的流程就如下图：

为了方便理解“最终的模型结果就是ntree个抽样样本集得出的结果的最大票数或者均值”我们用例子做个解释，先看下图：

我们有一个水果集，然后我训练一个3棵树组成的随机森林来判断每一个水果到底是何种类，有两棵树都告诉我是某一个水果是苹果，一棵树告诉我是香蕉，那么最后我们随机森林就会输出该水果是香蕉的结论。

上面的过程有几个超参需要确定

• mtry: Number of variables randomly sampled as candidates at each split.
• ntree: Number of trees to grow.

mtry一般需要调参，ntree都是越大越好自己设定就行。在上面的过程中我们每棵树的节点都是不同的，叫做特征随机化，通过特征随机化我们保证了森林中树的多样性，随机森林模型也更加稳健。

Feature randomness, also known as feature bagging or “the random subspace method”, generates a random subset of features, which ensures low correlation among decision trees

随机森林实操

比如我现在有一个数据集，结局变量是class为二分类，我要适用随机森林算法就可以写出如下代码：

rf_default <- train(Class~., 
                    data=dataset, 
                    method='rf', 
                    tuneLength  = 15, 
                    trControl=control)
print(rf_default)

输出的结果中有随机调参的过程，共15次，最终发现超参mtry=3的时候模型最优，具体如下：

以上的随机森林模型的简单展示，接着我们再看随机生存森林。

随机生存森林

和随机森林一样，随机生存森林也是一个集成学习方法，区别在于其结局为生存资料。

示例文章

依然我们来看一篇发表在Cancer Med.上的文章，名字如下：

Prognostic risk factor of major salivary gland carcinomas and survival prediction model based on random survival forests

作者用cox进行了变量筛选，使用随机生存森林进行了预测模型构建，并得到了相应的风险分，明确了风险分的最佳截断值（“maxstat” R package），对于模型的表现作者使用了c指数和time-dependent ROC来评估，文章中主要的结果报告如下，包括：

树的数量和模型误差情况，以及变量重要性的结果：

time-dependent ROC曲线结果展示和相应的AUC值：

风险分界址点确定：

高低风险组的组间生存曲线比较:

也是一篇预测模型类文章的常规套路了。挑一个算法，拟合模型后评估，做个风险分，应用风险分划分病人证明模型可用性。我们以这篇文章为例子看随机生存森林预测模型的实操。

随机生存森林实例操作

我现在的数据中ttodead,died两个变量分别是时间和生存状态，此时我想做一个随机生存森林模型就可以写出如下代码：

RF_obj <- rfsrc(Surv(ttodead,died)~., dataSet, ntree = 1000,  membership = TRUE, importance=TRUE)

对代码运行后生成的对象RF_obj进行plot即可出图如下，就得到了原文中的figure2：

然后我们可以画出模型的不同时间点的timeRoc曲线（下面代码中的risk_score为随机生存森林对象的预测值），就得到了原文中的figure3，figure4：

ROC_rsf<-timeROC(T=finaldata.Test$Surv_day,delta=finaldata.Test$status,
             marker=risk_score,
             cause=1,
             times=c(365,365*3,365*5),iid=TRUE)
plot(ROC_lasso,time=365)
plot(ROC_lasso,time=365*3,add = T,col="blue")
plot(ROC_lasso,time=365*5,add = T,col="green")
legend(.8, .3, legend=c("T=1 Year AUC=0.895", "T=3 Year AUC=0.917","T=5 Year AUC=0.926"),
       col=c("red", "blue","green"), lty=1, cex=0.7,bty = "n")

并且将模型预测值的截断值找出来，验证模型在不同风险组的区分能力。其中找风险分截断值的代码如下：

y.pred <- predict(RF_obj)[["predicted"]]
plot(surv_cutpoint(dataSet, time = "ttodead", event = "died",
                   variables = c("y.pred")), "y.pred", palette = "npg")

运行后得到下图（原文中的figure5），就说明我们这个模型的风险分截断值应该为43.21：

然后根据这个风险分我们就可以将原始人群分为高风险组和低风险组，再做出组间km曲线，到这儿相当于Cancer Med的这篇用随机生存森林的文章就完全复现出来了。

以上是给大家介绍的随机生存森林的内容。

小结

今天给大家介绍了集成学习的概念，简要介绍了bagging和Boosting方法和随机生存森林的实例演示，可以说内容是十分丰富了，大家没事可以多看几遍。感谢大家耐心看完，自己的文章都写的很细，重要代码都在原文中，希望大家都可以自己做一做，请转发本文到朋友圈后私信回复“数据链接”获取所有数据和本人收集的学习资料。如果对您有用请先记得收藏，再点赞分享。

也欢迎大家的意见和建议，大家想了解什么统计方法都可以在文章下留言，说不定我看见了就会给你写教程哦，有疑问欢迎私信，有合作意向请直接滴滴我。

如果你是一个大学本科生或研究生，如果你正在因为你的统计作业、数据分析、模型构建,科研统计设计等发愁，如果你在使用SPSS, R，Mplus中遇到任何问题，都可以联系我。因为我可以给您提供最好的，最详细和耐心的数据分析服务。

如果你对Z检验，t检验，方差分析，多元方差分析，回归，卡方检验，相关，多水平模型，结构方程模型，中介调节，量表信效度等等统计技巧有任何问题，请私信我，获取详细和耐心的指导。

如果你或你的团队需要专业的科研数据清洗，建模服务，教学培训需求等等。请联系我。

If you are a student and you are worried about you statistical #Assignments, #Data #Analysis, #Thesis, #Reports, #Composing, #Quizzes, Exams.. And if you are facing problem in #SPSS, #R-Programming, #Excel, Mplus, then contact me. Because I could provide you the best services for your Data Analysis.

Are you confused with statistical Techniques like z-test, t-test, ANOVA, MANOVA, Regression, Logistic Regression, Chi-Square, Correlation, Association, SEM, multilevel model, mediation and moderation etc. for your Data Analysis...??

Then Contact Me. I will solve your Problem...

If You or Your Research Team Need Professional Scientific Data Cleaning, Model Building Services or Statistical Consulting... Please Contact Me.

往期精彩

R数据分析：净重新分类(NRI)和综合判别改善（IDI）指数的理解

R数据分析：反事实框架和因果中介的理论理解

R数据分析：解决科研中的“可重复危机”，理解Rmarkdown

R数据分析：多项式回归与响应面分析的理解与实操

R数据分析：生存数据的预测模型建立方法与评价（二）

R数据分析：生存数据的预测模型建立方法与评价

R数据分析：生存分析的列线图的理解与绘制详细教程

R数据分析：结合APA格式作图大法讲讲ggplot2和ggsci，请收藏

R数据分析：变量间的非线性关系，多项式，样条回归和可加模型

Mplus数据分析：性别差异gendergap的相关研究如何做？

R机器学习：分类算法之logistics回归分类器的原理和实现

R数据分析：PLS结构方程模型介绍，论文报告方法和实际操作

R数据分析：跟随top期刊手把手教你做一个临床预测模型

R数据分析：如何用层次聚类分析做“症状群”，实例操练

R数据分析：工具变量回归与孟德尔随机化，实例解析

R数据分析：潜类别轨迹模型LCTM的做法，实例解析

R文本挖掘：中文词云生成，以2021新年贺词为例

R机器学习：分类算法之判别分析LDA,QDA的原理与实现

R可视化：plot函数基础操作，小白教程

R机器学习：重复抽样在机器学习模型建立过程中的地位理解

R数据分析：用lme4包拟合线性和非线性混合效应模型

R数据分析：孟德尔随机化中介的原理和实操

R数据分析：生存分析的列线图的理解与绘制详细教程

R数据分析：cox模型如何做预测，高分文章复现

R数据分析：广义估计方程式GEE的做法和解释

R数据分析：潜类别轨迹模型LCTM的做法，实例解析

R数据分析:潜变量与降维方法(主成分分析与因子分析)

R数据分析：如何给结构方程画路径图，tidySEM包详解

R数据分析：生存分析与有竞争事件的生存分析的做法和解释

R机器学习：朴素贝叶斯与支持向量机的原理与实现

R数据分析：混合效应模型的可视化解释，再不懂就真没办法

R数据分析：tableone包的详细使用介绍

R数据分析：如何用lavaan包做结构方程模型，实例解析

R机器学习：分类算法之K最邻进算法（KNN）的原理与实现

R数据分析:潜增长模型LGM的做法和解释，及其与混合模型对比

R数据分析：论文中的轨迹的做法，潜增长模型和增长混合模型

R数据分析：纵向分类结局的分析-马尔可夫多态模型的理解与实操

R数据分析：临床预测模型实操，校准曲线和DCA曲线做法示例

R数据分析：国产新冠口服药比辉瑞好的文章的统计做法分享

R数据分析：再写潜在类别分析LCA的做法与解释

R数据分析：潜在转化分析LTA的做法和解释（一）

R机器学习:分类算法之K最邻进算法(KNN)的原理与实现