机器学习算法基础学习总结2.基本算法 2.1 Logistic回归 优点:计算代价不高,易于理解和实现。 缺点:容易欠拟合,分类精度可能不高 适用数据类型:数值型和标称型数据。 类别:分类算法。 试用场景:解决二分类问题。 简述: Logistic回归算法基于 Sigmoid函数,或者说 Sigmoid就是逻辑回归函数。 Sigmoid函数定义如下:1/(1-exp(-z))。函数值域范围(0,1)。可以用来做分 类器。 Sigmoid函数的函数曲线如下: 逻辑凹归模型分解如下:(1)首先将不同

朴素贝叶斯(naive Bayes)是基于贝叶斯定理和条件独立假设的分类方法。该方法是生成方法，即通过数据学习输入/输出的联合概率分布，然后基于此模型，对于给定的输入x，求出后验概率最大的输出y。 1.模型 联合概率分布：P(X,Y) 先验概率(边缘概率)分布： 条件概率分布： 三者关系：条件概率分布=联合概率分布/先验概率。 条件概率分布有指数级数量参数，通过条件独立假设(用于分类的特征在类确定的条件下都是条件独立的)，将朴素贝叶斯法变得简单，但会牺牲一定的分类准确率。 条件独立性假设得到