梯度下降法是机器学习算法更新模型参数的常用的方法之一。 相关概念 梯度 : 表示某一函数在一点处变化率最快的方向向量(可理解为这点的导数/偏导数) 样本 : 实际观测到的数据集，包括输入和输出(本文的样本数量用 m 表述,元素下标 i 表示) 特征 : 样本的输入(本文的特征数量用 n 表示,元素下标 j 表示) 假设函数 : 用来拟合样本的函数，记为 $ h_θ(X) (θ 为参数向量, X 为特征向量)$ 代价函数 : 用于评估模型拟合的程度，训练的目标是最小化代价函数，记为 J(θ)J(θ