快捷搜索:  汽车  科技

线性模型是用来分类嘛(线性模型概述)

线性模型是用来分类嘛(线性模型概述)2.2梯度下降法,3.使用sklearn提供的API实现线性回归4.模型评估

1.线性模型概述,线性模型是自然界中最普遍也最简单的模型,一般描述一个或多个自变量对另一个因变量的影响,成比例或线性关系,例如房子的面积与房子的价格,线性模型通常在二维空间内可以用一条直线来表示,在三维空间是一个平面,更高的维度下被称为超平面。

线性模型是用来分类嘛(线性模型概述)(1)

线性回归就是依据输入和输出值,找到一个线性模型,在最佳程度上拟合给定的数值,从而在给定新的输入时进行预测输出。

2.线性模型的训练,在二维平面中,给点的两点可以确定一条直线,但是在实际的预测中可能有多个样本点,无法找到一个可以贯穿所有样本点的直线,只能找到一条足够接近或者与各个点的距离足够小的直线,而寻找这条直线的过程就需要使用到损失函数。

2.1损失函数,损失函数是由样本中给出的度量真实值和预测值之间的差异,损失函数越小,表明模型的预测与真实值之间的差异越小,也就是模型性能越好,损失函数的值越大,模型预测值与真实值之间的差异就越大,模型性能越差,在回归问题中均方差是常用的损失函数。基于均方差最小化进行模型求解的方法称为最小二乘法,线性回归中,最小二乘法就是试图找到一条直线,是所有样本到直线欧式距离值和最小。

线性模型是用来分类嘛(线性模型概述)(2)

2.2梯度下降法,

  • 为什么引入梯度下降法,在使用最小二乘法的时候会遇到一些问题,最小二乘法需要计算逆矩阵,有可能逆矩阵不存在,或者样本量过于巨大时,计算逆矩阵非常的耗时。所以实际的计算中更多地是使用梯度下降来求解损失函数,来找到模型的最优解。
  • 何为梯度下降,梯度就是一个向量,表示某一个函数在该点处的方向导函数沿着该方向取得最大值,即函数在该点处沿着该方向变化最快,变化率最最大,损失函数沿着梯度相反方向手链最快,也就是说可以最快的找到极值点,当梯度为零或者接近于零时,说明达到一个极值点,也就是梯度下降的终止条件。通过梯度下降可以将寻找最优参数问题转化为寻找损失函数最小值问题。
  • 梯度下降算法描述:
    • 损失函数是否足够小,如果不是计算损失函数梯度。
    • 按梯度方向反向走一小步,以缩小损失,
    • 循环,迭代直到逼近极小值所在点。

线性模型是用来分类嘛(线性模型概述)(3)

3.使用sklearn提供的API实现线性回归

线性模型是用来分类嘛(线性模型概述)(4)

4.模型评估

  • 平均绝对误差,单个样本预测值与观测值的绝对值的平均值。
  • 均方误差,单个样本预测值与观测值的平方的平均值。
  • 中位数绝对偏差,与数据中值绝对偏差的中值。
  • R2决定系数,取值在0到1之间,趋向于1,模型越好,趋向于0模型越差。

猜您喜欢: