使用python怎么實(shí)現(xiàn)梯度下降法

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)使用python怎么實(shí)現(xiàn)梯度下降法，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

Python的優(yōu)點(diǎn)有哪些

1、簡單易用，與C/C++、Java、C# 等傳統(tǒng)語言相比，Python對(duì)代碼格式的要求沒有那么嚴(yán)格；2、Python屬于開源的，所有人都可以看到源代碼，并且可以被移植在許多平臺(tái)上使用；3、Python面向?qū)ο?，能夠支持面向過程編程,也支持面向?qū)ο缶幊蹋?、Python是一種解釋性語言，Python寫的程序不需要編譯成二進(jìn)制代碼，可以直接從源代碼運(yùn)行程序；5、Python功能強(qiáng)大，擁有的模塊眾多，基本能夠?qū)崿F(xiàn)所有的常見功能。

1.最簡單的情況，樣本只有一個(gè)變量，即簡單的（x，y）。多變量的則可為使用體重或身高判斷男女（這是假設(shè)，并不嚴(yán)謹(jǐn)），則變量有兩個(gè)，一個(gè)是體重，一個(gè)是身高，則可表示為(x1,x2,y),即一個(gè)目標(biāo)值有兩個(gè)屬性。

2.單個(gè)變量的情況最簡單的就是，函數(shù)hk(x)=k*x這條直線(注意：這里k也是變化的，我們的目的就是求一個(gè)最優(yōu)的   k)。而深度學(xué)習(xí)中，我們是不知道函數(shù)的，也就是不知道上述的k。   這里討論單變量的情況：

在不知道k的情況下，我們是通過樣本(x1,y1),(x2,y2)，(xn,yn)來獲取k。獲取的k的好壞則有損失函數(shù)來衡量。

損失函數(shù)：就是你預(yù)測的值和真實(shí)值的差異大?。ū热缫粋€(gè)樣本（1，1）他的真實(shí)值是1，而你預(yù)測的是0.5，則差異   比較大，如果你預(yù)測值為0.9999，則差異就比較小了）。

損失函數(shù)為定義如下（此處為單變量的情況）

目的是求使損失函數(shù)最小的變量k（注意和變量x區(qū)分），則將損失函數(shù)對(duì)k求導(dǎo)（多變量時(shí)為求偏導(dǎo)得梯度，這里單變量求導(dǎo)，其實(shí)不算梯度），求偏導(dǎo)如下：

然后迭代，迭代時(shí)有個(gè)步長alpha,(深度學(xué)習(xí)中貌似叫學(xué)習(xí)率)

3.例子

假如我們得到樣本(1,1),(2,2),(3,3).其實(shí)，由這三個(gè)樣本可以得到函數(shù)為y = 1*x。此時(shí)損失函數(shù)為0.而機(jī)器是不知道的，所以我們需要訓(xùn)練。

下面是一段python代碼。

import numpy as np
import matplotlib.pyplot as plt
x=np.arange(-5, 5, 0.001)
y=(((x-1)*(x-1)+(x*2-2)*(x*2-2)+(x*3-3)*(x*3-3))*1/6.0)
plt.plot(x,y) 
#plt.show() #顯示圖形 
 

def sum(x):
 return ((x*1-1)*1+(x*2-2)*2+(x*3-3)*3)
def fun(x):
 return ((1/3.0)*sum(x))
old = 0
new = 5
step = 0.01
pre = 0.00000001
 
def src_fun(x):
 print(((x-1)*(x-1)+(x*2-2)*(x*2-2)+(x*3-3)*(x*3-3))*1/6.0)
 
while abs(new-old)>pre:
 old = new
 #src_fun(old)  #輸出每次迭代的損失值
 new = new - step*fun(old)
 
 
print(new)
print(src_fun(new))

下圖是損失函數(shù)的圖像，損失函數(shù)中變量是k。下圖橫坐標(biāo)為k的不同取值，縱軸為對(duì)應(yīng)的損失大小。由下圖可以大致看出，當(dāng)k為1時(shí)，損失函數(shù)值為0。注意：這里取的最優(yōu)值k=1是在我們已有樣本的情況下得出的,樣本不同，k值自然不同。

下面是print(new)和print(src_fun(new))的輸出結(jié)果

上述就是小編為大家分享的使用python怎么實(shí)現(xiàn)梯度下降法了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道。