您好,登錄后才能下訂單哦!
這篇文章主要介紹“Python線性回歸分析”,在日常操作中,相信很多人在Python線性回歸分析問題上存在疑惑,小編查閱了各式資料,整理出簡(jiǎn)單好用的操作方法,希望對(duì)大家解答”Python線性回歸分析”的疑惑有所幫助!接下來,請(qǐng)跟著小編一起來學(xué)習(xí)吧!
線性回歸是機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)中最基礎(chǔ)和最廣泛應(yīng)用的模型,是一種對(duì)自變量和因變量之間關(guān)系進(jìn)行建模的回歸分析。
本次實(shí)現(xiàn)的線性回歸為單變量的簡(jiǎn)單線性回歸,模型中含有兩個(gè)參數(shù):變量系數(shù)w、偏置q。
訓(xùn)練數(shù)據(jù)為自己使用隨機(jī)數(shù)生成的100個(gè)隨機(jī)數(shù)據(jù)并將其保存在數(shù)組中。采用批量梯度下降法訓(xùn)練模型,損失函數(shù)使用平方損失函數(shù)。
上圖為整個(gè)程序的函數(shù)調(diào)用關(guān)系。
下面貼代碼:
#include<stdio.h> #include<stdlib.h> #include<math.h> #include<time.h> double w, q; int m; //模型 float Model(float x) { float y; y = x * w + q; return y; } //損失函數(shù) double Loss(float *y,float *x) { double L=0; //循環(huán)參數(shù) int i, j, k; for (i = 0; i < m; i++) { L += (pow((y[i] - Model(x[i])), 2)) / (2 * m); } return L; } //梯度下降優(yōu)化函數(shù) void Gradient_Descent_Optimizer(float *x,float *y,float a) { int j, i; double Q = 0, W = 0; for (i = 0; i < m; i++) W += x[i] * (Model(x[i]) - y[i]); W = W / m; for (j = 0; j < m; j++) Q += Model(x[j]) - y[j]; Q = Q / m; printf("W:%f\nQ:%f\n", W, Q); w = w - a * W; q = q - a * Q; } //主函數(shù);訓(xùn)練過程 int main() { //循環(huán)標(biāo)志 int i, j; //訓(xùn)練輪次 int epoch; //損失函數(shù) double L; //學(xué)習(xí)率 float a; float x[100], y[100]; //隨機(jī)數(shù)生成 for (i = 0; i < 100; i++) { x[i] = 0.1*i; y[i] = x[i] * 3 + 5; //+ ((rand() % 11) / 10); printf("X:%.2f,Y:%.2f\n", x[i], y[i]); } //超參數(shù)設(shè)置 m = 100; a = 0.05; epoch = 1000; //參數(shù)初始化 w = 2; q = 3; for (j = 0; j < epoch; j++) { Gradient_Descent_Optimizer(x, y, a); L = Loss(y, x); printf("訓(xùn)練輪次:%d,損失:%f,參數(shù)w的值:%lf,參數(shù)q的值:%lf\n", j+1, L, w, q); } printf("最終值:\nw:%lf\nq:%lf\n", w, q); system("pause"); }
下面對(duì)在編寫過程中需要注意的問題進(jìn)行總結(jié):
模型中的參數(shù)需要同步更新。所有參數(shù)的更新值經(jīng)過梯度下降法計(jì)算得出后要在最后同時(shí)更新所有參數(shù)。
在代碼編寫過程中自己認(rèn)為不用單獨(dú)寫一個(gè)損失函數(shù),只需在梯度下降的過程中利用求導(dǎo)后的公式進(jìn)行相關(guān)的參數(shù)優(yōu)化操作即可,但在運(yùn)行沒有算是函數(shù)的程序時(shí),沒有實(shí)時(shí)的損失函數(shù)結(jié)果評(píng)估模型訓(xùn)練效果可能會(huì)導(dǎo)致模型在錯(cuò)誤的道路上越走越遠(yuǎn)。
初次運(yùn)行程序,在訓(xùn)練至十幾輪時(shí)參數(shù)就不再變化,一直到第1000輪參數(shù)都保持不變。后來在檢查代碼時(shí)發(fā)現(xiàn),在優(yōu)化函數(shù)將一些參數(shù)的數(shù)據(jù)類型錯(cuò)誤設(shè)置為整型。因此當(dāng)參數(shù)值改變程度小于1時(shí),參數(shù)將不再變化。
學(xué)習(xí)率,訓(xùn)練輪次等的設(shè)置是一個(gè)對(duì)程序編寫者經(jīng)驗(yàn)要求比較高的工作,需要多次嘗試,找到合適的值,參數(shù)的初始化也是這樣。
本次只是實(shí)現(xiàn)了簡(jiǎn)單線性回歸的最基本的功能,同時(shí)也試一下自己剛買的機(jī)械鍵盤(用起來真的很舒服)。這只是我用來練手的程序,如果真的要編寫程序?qū)崿F(xiàn)功能還是推薦使用python語言搭配TensorFlow、Pytorch等深度學(xué)習(xí)平臺(tái)實(shí)現(xiàn)自己想要的功能。程序的可完善空間非常大,比如數(shù)據(jù)和模型的可視化,將數(shù)據(jù)和模型的訓(xùn)練效果直觀的展示出來,后面還會(huì)有序的用C語言實(shí)現(xiàn)諸如多元線性回歸,二分類問題,多分類問題甚至卷積神經(jīng)網(wǎng)絡(luò)等等。我會(huì)在下面貼出使用Python語言編寫的線性回歸的程序,可以兩者結(jié)合起來比較一下異同。
# -*- coding: utf-8 -*- """ Spyder Editor This is a temporary script file. """ import matplotlib.pyplot as plt import tensorflow as tf import numpy as np np.random.seed(5) x_data = np.linspace(-1,1,100) y_data = 2 * x_data + 1.0 + np.random.randn(*x_data.shape) * 0.4 np.random.randn(10) #x_data.shape #np.random.randn(*x_data.shape) #np.random.randn(100) plt.scatter(x_data,y_data) plt.plot(x_data, 2 * x_data + 1.0, color = 'red',linewidth=3) x = tf.placeholder("float",name="x") y = tf.placeholder("float",name="y") def model(x,w,b): return tf.multiply(x,w)+b w = tf.Variable(1.0,name="w0") b = tf.Variable(0.0,name="b0") pred = model(x,w,b) train_epochs = 10 learning_rate = 0.05 loss_function = tf.reduce_mean(tf.square(y-pred)) optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss_function) sess = tf.Session() init = tf.global_variables_initializer() sess.run(init) i_ci=0 for epoch in range(train_epochs): for xs,ys in zip(x_data,y_data): _, loss=sess.run([optimizer,loss_function],feed_dict={x:xs,y:ys}) b0temp=b.eval(session=sess) w0temp=w.eval(session=sess) plt.plot(x_data,w0temp*x_data+b0temp) print("w:",sess.run(w)) print("b:",sess.run(b)) plt.scatter(x_data,y_data,label='Original data') plt.plot(x_data,x_data*sess.run(w)+sess.run(b),label='Fitted Line',color='r',linewidth=3) plt.legend(loc=2)
到此,關(guān)于“Python線性回歸分析”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí),請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站,小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。