梯度提升决策树（Gradient Boosting Decision Tree，GBDT）是一种基于boosting集成学习思想的加法模型，训练时采用前向分布算法进行贪婪的学习，每次迭代都学习一棵CART树来拟合之前 t-1 棵树的预测结果与训练样本…

2024年6月5日 · GBDT，全称为Gradient Boosting Decision Tree，即梯度提升决策树，是 机器学习 领域中一种高效且强大的集成学习方法。 它通过迭代地添加决策树以逐步降低预测误差，从而在各种任务中，尤其是回归和分类问题上表现出色。 本文将深入浅出地介绍GBDT的基本原理、算法流程、关键参数调整策略以及其在实际应用中的表现与优化技巧。 梯度提升是一种迭代的机器学习算法，其核心思想是利用前一个模型的残差（即真实值与预测值之差）作为当前模型的学习 …

摘要: GBDT是一种性能非常好的机器学习模型框架，在产业界应用十分广泛。 本文介绍了集成模型的3种常见集成策略，即bagging、stacking和boosting，并对boosting模型的杰出代表GBDT的基本原理进行了介绍。 用于实战的完整版GBDT是比较复杂的，为了降低学习曲线，这里首先介绍了GBDT的核心，即如何基于目标函数得到每棵CART的拟合目标，然后列举了常见的用于提升GBDT效果的策略。 1. 引言. 大概是在2018年，我当时的领导兰博，接了一个项目，然后让我 …

2025年2月7日 · GBDT，英文全程Gradient Boosting Decision Tree，中文名叫梯度提升决策树。 GBDT算法，是集成学习中，BOOSTING算法中的基础算法，包括XGBboost，LGB，catboost，本质上均是GBDT算法的演变。

2024年6月10日 · GBDT，全称为Gradient Boosting Decision Tree，即梯度提升决策树，是机器学习领域中一种高效且强大的集成学习方法。 它通过迭代地添加决策树以逐步降低预测误差，从而在各种任务中，尤其是回归和分类问题上表现出色。

2024年11月12日 · 梯度提升树 （Gradient Boosting Decision Trees，GBDT）是一种强大的 机器学习 方法，广泛用于 回归和分类 任务。 它通过构建一系列决策树来优化模型的预测能力，基于梯度提升框架，使得每一棵树都试图纠正前一棵树的错误。

2024年4月10日 · 本文详细介绍了梯度提升决策树（GBDT）的原理、算法流程，强调了其在回归和分类任务中的优势，包括高精度、鲁棒性和可解释性，同时也讨论了其可能的过拟合风险和与其他算法的对比。 1. 引言与背景. 2. 定理. 3. 算法原理. 4. 算法实现. 5. 优缺点分析. 6. 案例应用. 7. 对比与其他算法. 8. 结论与展望. 1. 引言与背景. 梯度提升决策树（Gradient Boosting Decision Trees, GBDT）作为一种强大的集成学习方法，在 机器学习 领域尤其是回归和分类任务中占据着重 …

Gradient boosting is a machine learning technique based on boosting in a functional space, where the target is pseudo-residuals instead of residuals as in traditional boosting.

2025年2月25日 · Like bagging and boosting, gradient boosting is a methodology applied on top of another machine learning algorithm. Informally, gradient boosting involves two types of models: a "weak" machine...

2022年4月4日 · 前面一节我们学习了自适应增强算法（Adaptive Boosting / AdaBoost Algorithm），是一种提升算法 （Boosting Algorithm），而该算法家族中还有另一种重要的算法—— 梯度提升决策树 1 （Gradient Boosted Decision Trees / GBDT），GBDT 及其变体算法在传统机器学习中有着广泛的应用，了解其背后的思想与原理对于以后的学习有很大的帮助。 梯度提升决策树同自适应增强算法一样是一种提升算法，也可以解释为一种加法模型，第 k 轮后的强估 …