XGBoost是大规模并行boosting tree的工具，它是目前最快最好的开源 boosting tree工具包，比常见的工具包快10倍以上。 在数据科学方面，有大量的Kaggle选手选用XGBoost进行 数据挖掘 比赛，是各大数据科学比赛的必杀武器；在工业界大规模数据方面，XGBoost的分布式版本有广泛的可移植性，支持在Kubernetes、 Hadoop 、SGE、MPI、 Dask等各个分布式环境上运行，使得它可以很好地解决工业界大规模数据的问题。 本文将从XGBoost的数学原理和工程实现上进行介 …

2024年12月12日 · XGBoost是一种基于梯度提升决策树（GBDT）的 机器学习算法，通过构建多棵树来逐步优化模型。 每棵树都会针对前一棵树的残差进行拟合，从而不断减少误差。 XGBoost的关键优势在于其高效的计算能力和对大规模数据的支持，同时提供了丰富的参数供用户调整。 参数调优对于提升模型性能至关重要。 合理的参数设置可以显著提高模型的准确率、降低过拟合风险，并加快训练速度。 然而，XGBoost的参数种类繁多，如何在众多参数中找到最优组合是一 …

XGBoost（eXtreme Gradient Boosting）极致梯度提升，是一种基于GBDT的算法或者说工程实现。 XGBoost的基本思想和GBDT相同，但是做了一些优化，比如二阶导数使损失函数更精准； 正则项 避免树过拟合； Block存储 可以并行计算等。 XGBoost具有 高效 、 灵活 和 轻便 的特点，在数据挖掘、推荐系统等领域得到广泛的应用。 本文先回顾GBDT、泰勒公式、正则、一元二次函数等XGBoost的基础知识；接着介绍XGBoost原理、目标函数求导、目标函数解和学习训练；然后 …

2023年3月28日 · XGBoost (Extreme Gradient Boosting),即一种高效的梯度提升 决策树算法。 他在原有的GBDT基础上进行了改进，使得模型效果得到大大提升。 作为一种前向加法模型，他的核心是采用集成思想—— Boosting 思想，将多个弱学习器通过一定的方法整合为一个强学习器。 即用多棵树共同决策，并且用每棵树的结果都是目标值与之前所有树的预测结果之差 并将所有的结果累加即得到最终的结果，以此达到整个模型效果的提升。 XGBoost是由多棵CART …

2019年4月8日 · 本篇文章主要介绍下Xgboost算法的原理和公式推导。 关于XGB的一些应用场景在此就不赘述了，感兴趣的同学可以自行google。 下面开始： 构建最优模型的方法一般是最小化训练数据的损失函数，用L表示Loss Function（），F是假设空间： L = minf ∈ F 1 N N ∑ i = 1L(yi, f(xi)) (1) 上述（1）式就是俗称的经验风险最小化，当训练数据集较小时，很容易过拟合，所以一般需要加入正则项来降低模型的复杂度。 L = minf ∈ F 1 N N ∑ i = 1L(yi, f(xi)) + λJ(f) (2) 其中 …

2024年9月7日 · XGBoost 是 eXtreme Gradient Boosting 的缩写称呼，它是一个非常强大的 Boosting 算法工具包，优秀的性能（效果与速度）让其在很长一段时间内霸屏数据科学比赛解决方案榜首，现在很多大厂的机器学习方案依旧会首选这个模型。 XGBoost 在并行计算效率、缺失值处理、控制过拟合、预测泛化能力上都变现非常优秀。 本文我们给大家详细展开介绍 XGBoost，包含「算法原理」和「工程实现」两个方面。 关于 XGBoost 的原理，其作者陈天 …

2024年4月26日 · XGBoost全称是Extreme Gradient Boosting (极限梯度提升算法)，是梯度提升树算法（GBDT）的改良版本，属于集成学习技术框架中Boosting方法之一，用于监督学习，善于处理不同类型表格数据。 该算法是2016年陈天奇在其毕业博士论文《 XGBoost：A Scalable Tree Boosting System》（https://arxiv.org/pdf/1603.02754.pdf ） 中提出，是在GBDT算法基础上进行了许多改进，使其运算速度更快，并更适合工程上应用。

XGBoost (eXtreme Gradient Boosting) 是Boosting算法中的一种，是一种提升树模型，将很多树的模型集成起来。 其以 正则化提升（Regularized Boosting） 技术而闻名，通过代价函数里加入 正则项，控制模型的复杂度，防止过拟合。 可以实现 并行处理，相比GBM有了很大的速度提升。 二、 模型详解 XGBoost在 Linux 的 Python 环境下可以直接用pip install xgboost 安装。 XGBoost可以接受多种 数据格式 的输入，包括libsvm格式的文本数据、Numpy的二维数组、二进制的缓 …

2024年1月17日 · XGBoost （Extreme Gradient Boosting）是在 机器学习 领域中备受推崇的算法之一。 为了更好地利用XGBoost，我们需要深入了解其关键参数及其调优方法。 在本文中，我们将结合XGBoost模块中的函数和方法，以及实际数据分析和挖掘案例，详细介绍 XGBoost参数 的应用与调优。 1. XGBoost的常用参数概述. 首先，让我们来看一下XGBoost的一些常用参数。 在XGBoost模块中，可以通过 xgboost.XGBRegressor 或 xgboost.XGBClassifier 来构建回归或 …

针对一个训练集，xgboost首先使用 CART树 训练得到一个模型，这样针对每个样本都会产生一个偏差值；然后将样本偏差值作为新的训练集，继续使用CART树训练得到一个新模型；以此重复，直至达到某个退出条件为止。 最终的xgboost模型就是将上述所有模型进行加和。 假设一共有M个模型，每个模型的输出被定义为 f_i，那么xgboost模型的最终输出 \hat y_i 为. \hat y_i=\sum_ {i=1}^Mf_i (x_i) \\ 显然，xgboost和随机森林一样，也是多个模型的集成，但是它们之间还存在 …