最小二乘法是先将方程自变量与因变量化为系数矩阵X，再求该矩阵的转置矩阵（X1），接着求矩阵X与他的转置矩阵的X1的乘积（X2），然后求X2的逆矩阵。最后整合为系数矩阵W，求解后分别对应截距b、a1、和a2。可见计算一个矩阵的逆是相当耗费时间且复杂的,而且求逆也会存在数值不稳定的情况。
梯度下降法迭代的次数可能会比较多,但是相对来说计算量并不是很大。且其有收敛性保证。故在大数据量的时候,使用梯度下降法比较好。
梯度下降法
import numpy as np
from matplotlib imp
