梯度提升（GradientBoosting）是一种强大的集成学习算法，通过逐步优化模型来减少预测误差。它结合多个弱学习器（通常是决策树），每一轮迭代都针对前一轮的残差进行训练，最终将所有模型的预测结果加权求和，得到更准确的预测。梯度提升的核心思想是利用梯度下降法最小化损失函数，适用于回归和分类任务。因其高效性和灵活性，XGBoost、LightGBM等改进版本在数据科学竞赛和实际应用中表现优异。