梯度下降法是一种用于优化目标函数的迭代算法。它通过计算目标函数的梯度（即一阶导数）来确定参数更新的方向和步长。在每次迭代中，算法沿着梯度的反方向调整参数，因为梯度方向是函数值增长最快的方向，反方向则是下降最快的方向。梯度下降法广泛应用于机器学习和深度学习中，用于最小化损失函数。根据每次迭代使用的数据量不同，梯度下降法可以分为批量梯度下降（使用全部数据）、随机梯度下降（使用单个样本）和小批量梯度下降（使用部分数据）。学习率的选择对算法的收敛速度和稳定性至关重要，过大的学习率可能导致震荡或发散，而过小的学习率则会导致收敛速度过慢。