XGboost的算法他开源并且容易实现这个是随机森林的算法首先放回抽样有一个新的数据集然后构造新的决策树然后循环循环一次循环两次循环三次然后后面就不一样的后面要刻意的练习可以的抽取之前预测的不好的例子这样去构建决策树就是刻意练习抽取预测错的部分然后反复练习这些小的部分之前是随机抽取一个小样本然后构建树这样循环几次之后有一些数据预测的不对就针对这些数据去构建决策树针对性的训练实现的方式有XGbost,他代表极端梯度提升是一个非常快速且高效的提升树的开源实现而且还提供了良好的分割标准和停止分割标准XGBOST的创新之处是内置了正则化防止过拟合xGBOST为不同的训练样本分配了权重因为他不需要生成大量的随机样本这使得他比采集替换样本更加的高效