叠加树模型（ATMs）是集成学习的一种形式，包括随机森林、AdaBoost和GBDT等。随机森林通过随机样本和特征训练多棵树；AdaBoost通过连续训练弱分类器聚焦错误分类实例；GBDT则是通过梯度下降优化模型。Xgboost是GBDT的一种高效实现，其源代码可在GitHub上找到。
叠加树模型（Additive tree models, ATMs）是一种建立在多个决策树或者回归树之上的集成模型。许多经典的模型可以看做是特殊的叠加树模型，例如random forest, adaboost with trees, gradient boosting trees等。
ATM可以看做是一种N个决策树模型的集成，这里的N是树的数量，每个树输出一个真实的值，那么ATM的输出为：
- 随机森林（Random Forests）
随机森林是一种bagging模型，其每个树都是在一组随机样本中使用随机选择的特征进行独立训练.
- AdaBoost
Boosted trees集成多种弱分类器组成强分类器，对于boosting，每种弱分类器是一种典型的高偏差低方差的浅层树。
当训练一个新的弱分类器时，adaboost更多的关注那些在弱分类器上不能正确分类的实例。
- Gradient Boosting Decision Tree（GBDT）</
扫一扫
7453
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
