Python中如何實現(xiàn)最小二乘法

這篇文章主要介紹Python中如何實現(xiàn)最小二乘法，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

之所以說”使用”而不是”實現(xiàn)”，是因為python的相關(guān)類庫已經(jīng)幫我們實現(xiàn)了具體算法，而我們只要學(xué)會使用就可以了。隨著對技術(shù)的逐漸掌握及積累，當(dāng)類庫中的算法已經(jīng)無法滿足自身需求的時候，我們也可以嘗試通過自己的方式實現(xiàn)各種算法。

言歸正傳，什么是”最小二乘法”呢？

定義：最小二乘法（又稱最小平方法）是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。

作用：利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實際數(shù)據(jù)之間誤差的平方和為最小。

原則：以”殘差平方和最小”確定直線位置(在數(shù)理統(tǒng)計中，殘差是指實際觀察值與估計值之間的差)

數(shù)學(xué)公式：

基本思路：對于一元線性回歸模型,假設(shè)從總體中獲取了n組觀察值（X1，Y1），（X2，Y2），…，（Xn，Yn），對于平面中的這n個點，可以使用無數(shù)條曲線來擬合。而線性回歸就是要求樣本回歸函數(shù)盡可能好地擬合這組值，也就是說，這條直線應(yīng)該盡可能的處于樣本數(shù)據(jù)的中心位置。因此，選擇最佳擬合曲線的標準可以確定為：使總的擬合誤差（即總殘差）達到最小。

實現(xiàn)代碼如下，代碼中已經(jīng)詳細的給了注釋：

##最小二乘法
import numpy as np  ##科學(xué)計算庫 
import scipy as sp  ##在numpy基礎(chǔ)上實現(xiàn)的部分算法庫
import matplotlib.pyplot as plt ##繪圖庫
from scipy.optimize import leastsq ##引入最小二乘法算法

'''
   設(shè)置樣本數(shù)據(jù)，真實數(shù)據(jù)需要在這里處理
'''
##樣本數(shù)據(jù)(Xi,Yi)，需要轉(zhuǎn)換成數(shù)組(列表)形式
Xi=np.array([6.19,2.51,7.29,7.01,5.7,2.66,3.98,2.5,9.1,4.2])
Yi=np.array([5.25,2.83,6.41,6.71,5.1,4.23,5.05,1.98,10.5,6.3])

'''
  設(shè)定擬合函數(shù)和偏差函數(shù)
  函數(shù)的形狀確定過程：
  1.先畫樣本圖像
  2.根據(jù)樣本圖像大致形狀確定函數(shù)形式(直線、拋物線、正弦余弦等)
'''

##需要擬合的函數(shù)func :指定函數(shù)的形狀
def func(p,x):
  k,b=p
  return k*x+b

##偏差函數(shù)：x,y都是列表:這里的x,y更上面的Xi,Yi中是一一對應(yīng)的
def error(p,x,y):
  return func(p,x)-y

'''
  主要部分：附帶部分說明
  1.leastsq函數(shù)的返回值tuple，第一個元素是求解結(jié)果，第二個是求解的代價值(個人理解)
  2.官網(wǎng)的原話（第二個值）：Value of the cost function at the solution
  3.實例：Para=>(array([ 0.61349535, 1.79409255]), 3)
  4.返回值元組中第一個值的數(shù)量跟需要求解的參數(shù)的數(shù)量一致
'''

#k,b的初始值，可以任意設(shè)定,經(jīng)過幾次試驗，發(fā)現(xiàn)p0的值會影響cost的值：Para[1]
p0=[1,20]

#把error函數(shù)中除了p0以外的參數(shù)打包到args中(使用要求)
Para=leastsq(error,p0,args=(Xi,Yi))

#讀取結(jié)果
k,b=Para[0]
print("k=",k,"b=",b)
print("cost："+str(Para[1]))
print("求解的擬合直線為:")
print("y="+str(round(k,2))+"x+"+str(round(b,2)))

'''
  繪圖，看擬合效果.
  matplotlib默認不支持中文，label設(shè)置中文的話需要另行設(shè)置
  如果報錯，改成英文就可以
'''

#畫樣本點
plt.figure(figsize=(8,6)) ##指定圖像比例： 8：6
plt.scatter(Xi,Yi,color="green",label="樣本數(shù)據(jù)",linewidth=2) 

#畫擬合直線
x=np.linspace(0,12,100) ##在0-15直接畫100個連續(xù)點
y=k*x+b ##函數(shù)式
plt.plot(x,y,color="red",label="擬合直線",linewidth=2) 
plt.legend(loc='lower right') #繪制圖例
plt.show()

結(jié)果如下所示：

輸出結(jié)果：

k= 0.900458420439 b= 0.831055638877
cost：1
求解的擬合直線為:
y=0.9x+0.83

繪圖結(jié)果：

補充說明：簡單的列舉了直線的情況，曲線的求解方式類似，但是曲線會存在過度擬合的情況，在以后的博客中會講到。

以上是“Python中如何實現(xiàn)最小二乘法”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道！