机器学习算法基础学习总结2.基本算法 2.1 Logistic回归 优点:计算代价不高,易于理解和实现。 缺点:容易欠拟合,分类精度可能不高 适用数据类型:数值型和标称型数据。 类别:分类算法。 试用场景:解决二分类问题。 简述: Logistic回归算法基于 Sigmoid函数,或者说 Sigmoid就是逻辑回归函数。 Sigmoid函数定义如下:1/(1-exp(-z))。函数值域范围(0,1)。可以用来做分 类器。 Sigmoid函数的函数曲线如下: 逻辑凹归模型分解如下:(1)首先将不同

批量梯度下降 定义：批量梯度下降的一次训练喂入训练集中的所有数据，使用所有数据来更新权重，也就是batch_size=训练集大小 算法 3. 特点 求和中的运算都是向量运算 参数的更新需要计算所有数据的平均值之后才能进行更新，更新缓慢，时间复杂度是O(n)，但是下降路径十分平滑 随机梯度下降 定义：每次进行参数更新的时候仅仅使用数据集中的一个数据，也即batch_size = 1 算法 特点 更新参数的时候每次只用计算一个数据，因此能够更快地更新参数 但是因为每次只使用了一个数据，所以更新参