如何用Java代碼實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)算法

本篇文章為大家展示了如何用代碼實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)算法 ，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。

現(xiàn)在所有人都在談深度學(xué)習(xí)，保持學(xué)習(xí)精神是需要的，架構(gòu)師永遠(yuǎn)都要對(duì)核心技術(shù)和關(guān)鍵算法保持關(guān)注和敏感，必要時(shí)要?jiǎng)邮謱?xiě)一寫(xiě)掌握下來(lái)，先不用關(guān)心什么時(shí)候用到，用不用是政治問(wèn)題，會(huì)不會(huì)寫(xiě)是技術(shù)問(wèn)題，就像軍人不關(guān)心打不打的問(wèn)題，而要關(guān)心如何打贏的問(wèn)題。

一、程序員如何學(xué)習(xí)機(jī)器學(xué)習(xí)
機(jī)器學(xué)習(xí)對(duì)程序員出身的人來(lái)說(shuō)是有一定門(mén)檻的，這個(gè)門(mén)檻也是其核心競(jìng)爭(zhēng)力，相信你學(xué)習(xí)機(jī)器學(xué)習(xí)時(shí)，滿是數(shù)學(xué)公式的英文論文一定弄的你頭疼，并知難而退。但實(shí)際上機(jī)器學(xué)習(xí)算法落地程序并不難寫(xiě)，下面是70行代碼實(shí)現(xiàn)的反向多層（BP）神經(jīng)網(wǎng)絡(luò)算法，也就是傳說(shuō)中的深度學(xué)習(xí)（當(dāng)然這個(gè)概念可能很大），經(jīng)過(guò)作者的研究，不光是神經(jīng)網(wǎng)絡(luò)，其實(shí)邏輯回歸、決策樹(shù)c45、id3、隨機(jī)森林、貝葉斯、協(xié)同過(guò)濾、圖計(jì)算、kmeans、pagerank等大部分機(jī)器學(xué)習(xí)算法都能在100行單機(jī)程序內(nèi)實(shí)現(xiàn)（以后考慮分享出來(lái)）。機(jī)器學(xué)習(xí)的真正難度在于它為什么要這么計(jì)算，它背后的數(shù)學(xué)原理是什么，怎么推導(dǎo)得來(lái)的公式，網(wǎng)上大部分的資料都在介紹這部分理論知識(shí)，卻很少告訴你該算法的計(jì)算過(guò)程和程序落地是怎么樣的，對(duì)于程序員來(lái)說(shuō)，你需要做的僅是工程化應(yīng)用，而不需要證明出一項(xiàng)新的數(shù)學(xué)計(jì)算方法。實(shí)際大部分機(jī)器學(xué)習(xí)工程師都是利用別人寫(xiě)好的開(kāi)源包或者工具軟件，輸入數(shù)據(jù)和調(diào)整計(jì)算系數(shù)來(lái)訓(xùn)練結(jié)果，甚至很少自己實(shí)現(xiàn)算法過(guò)程。但是掌握每個(gè)算法的計(jì)算過(guò)程仍然非常重要，這樣你才能理解該算法讓數(shù)據(jù)產(chǎn)生了什么樣的變化，理解算法的目的是為了達(dá)到一個(gè)怎么樣的效果。下面我們重點(diǎn)探討反向神經(jīng)網(wǎng)絡(luò)的單機(jī)實(shí)現(xiàn)，關(guān)于神經(jīng)網(wǎng)絡(luò)的多機(jī)并行化，F(xiàn)ourinone提供非常靈活完善的并行計(jì)算框架，我們只需要理解透單機(jī)程序?qū)崿F(xiàn)，就能構(gòu)思和設(shè)計(jì)出分布式并行化方案，如果不理解算法計(jì)算過(guò)程，一切思路將無(wú)法展開(kāi)。另外，還有卷積神經(jīng)網(wǎng)絡(luò)，主要是一種降維思想，用于圖像處理，不在本文討論范圍。

二、神經(jīng)網(wǎng)絡(luò)的計(jì)算過(guò)程說(shuō)明
神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示，最左邊的是輸入層，最右邊的是輸出層，中間是多個(gè)隱含層，對(duì)于隱含層和輸出層的每個(gè)神經(jīng)節(jié)點(diǎn)，都是由上一層節(jié)點(diǎn)乘以其權(quán)重累加得到，標(biāo)上“+1”的圓圈為截距項(xiàng)b，對(duì)輸入層外每個(gè)節(jié)點(diǎn)：Y=w0*x0+w1*x1+...+wn*xn+b，由此我們可以知道神經(jīng)網(wǎng)絡(luò)相當(dāng)于一個(gè)多層邏輯回歸的結(jié)構(gòu)。

算法計(jì)算過(guò)程：輸入層開(kāi)始，從左往右計(jì)算，逐層往前直到輸出層產(chǎn)生結(jié)果。如果結(jié)果值和目標(biāo)值有差距，再?gòu)挠彝笏?，逐層向后?jì)算每個(gè)節(jié)點(diǎn)的誤差，并且調(diào)整每個(gè)節(jié)點(diǎn)的所有權(quán)重，反向到達(dá)輸入層后，又重新向前計(jì)算，重復(fù)迭代以上步驟，直到所有權(quán)重參數(shù)收斂到一個(gè)合理值。由于計(jì)算機(jī)程序求解方程參數(shù)和數(shù)學(xué)求法不一樣，一般是先隨機(jī)選取參數(shù)，然后不斷調(diào)整參數(shù)減少誤差直到逼近正確值，所以大部分的機(jī)器學(xué)習(xí)都是在不斷迭代訓(xùn)練，下面我們從程序上詳細(xì)看看該過(guò)程實(shí)現(xiàn)就清楚了。

三、神經(jīng)網(wǎng)絡(luò)的算法程序?qū)崿F(xiàn)說(shuō)明
分為初始化、向前計(jì)算結(jié)果，反向修改權(quán)重三個(gè)過(guò)程。
1、初始化過(guò)程：由于是n層神經(jīng)網(wǎng)絡(luò)，我們用二維數(shù)組layer記錄節(jié)點(diǎn)值，第一維為層數(shù)，第二維為該層節(jié)點(diǎn)位置，數(shù)組的值為節(jié)點(diǎn)值；同樣，節(jié)點(diǎn)誤差值layerErr也是相似方式記錄。用三維數(shù)組layer_weight記錄各節(jié)點(diǎn)權(quán)重，第一維為層數(shù)，第二維為該層節(jié)點(diǎn)位置，第三維為下層節(jié)點(diǎn)位置，數(shù)組的值為某節(jié)點(diǎn)到達(dá)下層某節(jié)點(diǎn)的權(quán)重值，初始值為0-1之間的隨機(jī)數(shù)。為了優(yōu)化收斂速度，這里采用動(dòng)量法權(quán)值調(diào)整，需要記錄上一次權(quán)值調(diào)整量，用三維數(shù)組layer_weight_delta來(lái)記錄，截距項(xiàng)處理：程序里將截距的值設(shè)置為1，這樣只需要計(jì)算它的權(quán)重就可以了。

2、向前計(jì)算結(jié)果：采用S函數(shù)1/(1+Math.exp(-z))將每個(gè)節(jié)點(diǎn)的值統(tǒng)一到0-1之間，再逐層向前計(jì)算直到輸出層，對(duì)于輸出層，實(shí)際上是不需要再用S函數(shù)的，我們這里將輸出結(jié)果視為0到1之間的概率值，所以也采用了S函數(shù)，這樣也有利于程序?qū)崿F(xiàn)的統(tǒng)一性。

3、反向修改權(quán)重
神經(jīng)網(wǎng)絡(luò)如何計(jì)算誤差，一般采用平方型誤差函數(shù)E，如下：

不會(huì)推導(dǎo)也沒(méi)有關(guān)系，我們只需要運(yùn)用結(jié)果公式就可以了，在我們的程序里用layerErr記錄了E對(duì)權(quán)重求導(dǎo)后的最小化誤差，再根據(jù)最小化誤差去調(diào)整權(quán)重。

注意這里采用動(dòng)量法調(diào)整，將上一次調(diào)整的經(jīng)驗(yàn)考慮進(jìn)來(lái)，避免陷入局部最小值，下面的k代表迭代次數(shù)，mobp為動(dòng)量項(xiàng)，rate為學(xué)習(xí)步長(zhǎng)：
Δw(k+1) = mobp*Δw(k)+rate*Err*Layer
也有很多使用下面的公式，效果上的差別不是太大：
Δw(k+1) = mobp*Δw(k)+(1-mobp)rate*Err*Layer

為了提升性能，注意程序?qū)崿F(xiàn)是在一個(gè)while里面同時(shí)計(jì)算誤差和調(diào)整權(quán)重，先將位置定位到倒數(shù)第二層（也就是最后一層隱含層）上，然后逐層反向調(diào)整，根據(jù)L+1層算好的誤差來(lái)調(diào)整L層的權(quán)重，同時(shí)計(jì)算好L層的誤差，用于下一次循環(huán)到L-1層時(shí)計(jì)算權(quán)重，以此循環(huán)下去直到倒數(shù)第一層（輸入層）結(jié)束。

總結(jié)：在整個(gè)計(jì)算過(guò)程中，我們可以看到節(jié)點(diǎn)的值是每次計(jì)算都在變化的，它是動(dòng)態(tài)不需要保存的，權(quán)重參數(shù)和誤差參數(shù)是需要保存的，需要為下一次迭代提供支持，因此，如果我們構(gòu)思一個(gè)分布式的多機(jī)并行計(jì)算方案，就能理解其他框架中為什么會(huì)有一個(gè)Parameter Server的概念。

四、多層神經(jīng)網(wǎng)絡(luò)完整程序?qū)崿F(xiàn)
下面實(shí)現(xiàn)程序BpDeep.java可以直接拿去使用，也很容易修改為c,c#，python等其他任何語(yǔ)言實(shí)現(xiàn)，因?yàn)槎际鞘褂玫幕菊Z(yǔ)句，沒(méi)有用到其他java庫(kù)（除了random函數(shù)），以下為原創(chuàng)程序，轉(zhuǎn)載引用時(shí)請(qǐng)注明作者和出處。

import java.util.Random;
public class BpDeep{
	public double[][] layer;//神經(jīng)網(wǎng)絡(luò)各層節(jié)點(diǎn)
	public double[][] layerErr;//神經(jīng)網(wǎng)絡(luò)各節(jié)點(diǎn)誤差
	public double[][][] layer_weight;//各層節(jié)點(diǎn)權(quán)重
	public double[][][] layer_weight_delta;//各層節(jié)點(diǎn)權(quán)重動(dòng)量
	public double mobp;//動(dòng)量系數(shù)
	public double rate;//學(xué)習(xí)系數(shù)
	
	public BpDeep(int[] layernum, double rate, double mobp){
		this.mobp = mobp;
		this.rate = rate;
		layer = new double[layernum.length][];
		layerErr = new double[layernum.length][];
		layer_weight = new double[layernum.length][][];
		layer_weight_delta = new double[layernum.length][][];
		Random random = new Random();
		for(int l=0;l<layernum.length;l++){
			layer[l]=new double[layernum[l]];
			layerErr[l]=new double[layernum[l]];
			if(l+1<layernum.length){
				layer_weight[l]=new double[layernum[l]+1][layernum[l+1]];
				layer_weight_delta[l]=new double[layernum[l]+1][layernum[l+1]];
				for(int j=0;j<layernum[l]+1;j++)
					for(int i=0;i<layernum[l+1];i++)
						layer_weight[l][j][i]=random.nextDouble();//隨機(jī)初始化權(quán)重
			}	
		}
	}
	//逐層向前計(jì)算輸出
	public double[] computeOut(double[] in){
		for(int l=1;l<layer.length;l++){
			for(int j=0;j<layer[l].length;j++){
				double z=layer_weight[l-1][layer[l-1].length][j];
				for(int i=0;i<layer[l-1].length;i++){
					layer[l-1][i]=l==1?in[i]:layer[l-1][i];
					z+=layer_weight[l-1][i][j]*layer[l-1][i];
				}
				layer[l][j]=1/(1+Math.exp(-z));
			}
		}
		return layer[layer.length-1];
	}
	//逐層反向計(jì)算誤差并修改權(quán)重
	public void updateWeight(double[] tar){
		int l=layer.length-1;
		for(int j=0;j<layerErr[l].length;j++)
			layerErr[l][j]=layer[l][j]*(1-layer[l][j])*(tar[j]-layer[l][j]);
			
		while(l-->0){
			for(int j=0;j<layerErr[l].length;j++){
				double z = 0.0;
				for(int i=0;i<layerErr[l+1].length;i++){
					z=z+l>0?layerErr[l+1][i]*layer_weight[l][j][i]:0;
					layer_weight_delta[l][j][i]= mobp*layer_weight_delta[l][j][i]+rate*layerErr[l+1][i]*layer[l][j];//隱含層動(dòng)量調(diào)整
					layer_weight[l][j][i]+=layer_weight_delta[l][j][i];//隱含層權(quán)重調(diào)整
					if(j==layerErr[l].length-1){
						layer_weight_delta[l][j+1][i]= mobp*layer_weight_delta[l][j+1][i]+rate*layerErr[l+1][i];//截距動(dòng)量調(diào)整
						layer_weight[l][j+1][i]+=layer_weight_delta[l][j+1][i];//截距權(quán)重調(diào)整
					}
				}
				layerErr[l][j]=z*layer[l][j]*(1-layer[l][j]);//記錄誤差
			}
		}
	}
	
	public void train(double[] in, double[] tar){
		double[] out = computeOut(in);
		updateWeight(tar);
	}
}

五、一個(gè)運(yùn)用神經(jīng)網(wǎng)絡(luò)的例子
最后我們找個(gè)簡(jiǎn)單例子來(lái)看看神經(jīng)網(wǎng)絡(luò)神奇的效果，為了方便觀察數(shù)據(jù)分布，我們選用一個(gè)二維坐標(biāo)的數(shù)據(jù)，下面共有4個(gè)數(shù)據(jù)，方塊代表數(shù)據(jù)的類(lèi)型為1，三角代表數(shù)據(jù)的類(lèi)型為0，可以看到屬于方塊類(lèi)型的數(shù)據(jù)有（1，2）和（2，1），屬于三角類(lèi)型的數(shù)據(jù)有（1，1），（2，2），現(xiàn)在問(wèn)題是需要在平面上將4個(gè)數(shù)據(jù)分成1和0兩類(lèi)，并以此來(lái)預(yù)測(cè)新的數(shù)據(jù)的類(lèi)型。

下面是這個(gè)測(cè)試程序BpDeepTest.java的源碼：

import java.util.Arrays;
public class BpDeepTest{
	public static void main(String[] args){
		//初始化神經(jīng)網(wǎng)絡(luò)的基本配置
		//第一個(gè)參數(shù)是一個(gè)整型數(shù)組，表示神經(jīng)網(wǎng)絡(luò)的層數(shù)和每層節(jié)點(diǎn)數(shù)，比如{3,10,10,10,10,2}表示輸入層是3個(gè)節(jié)點(diǎn)，輸出層是2個(gè)節(jié)點(diǎn)，中間有4層隱含層，每層10個(gè)節(jié)點(diǎn)
		//第二個(gè)參數(shù)是學(xué)習(xí)步長(zhǎng)，第三個(gè)參數(shù)是動(dòng)量系數(shù)
		BpDeep bp = new BpDeep(new int[]{2,10,2}, 0.15, 0.8);
		
		//設(shè)置樣本數(shù)據(jù)，對(duì)應(yīng)上面的4個(gè)二維坐標(biāo)數(shù)據(jù)
		double[][] data = new double[][]{{1,2},{2,2},{1,1},{2,1}};
		//設(shè)置目標(biāo)數(shù)據(jù)，對(duì)應(yīng)4個(gè)坐標(biāo)數(shù)據(jù)的分類(lèi)
		double[][] target = new double[][]{{1,0},{0,1},{0,1},{1,0}};
		
		//迭代訓(xùn)練5000次
		for(int n=0;n<5000;n++)
			for(int i=0;i<data.length;i++)
				bp.train(data[i], target[i]);
				
		//根據(jù)訓(xùn)練結(jié)果來(lái)檢驗(yàn)樣本數(shù)據(jù)
		for(int j=0;j<data.length;j++){
			double[] result = bp.computeOut(data[j]);
			System.out.println(Arrays.toString(data[j])+":"+Arrays.toString(result));
		}
		
		//根據(jù)訓(xùn)練結(jié)果來(lái)預(yù)測(cè)一條新數(shù)據(jù)的分類(lèi)
		double[] x = new double[]{3,1};
		double[] result = bp.computeOut(x);
		System.out.println(Arrays.toString(x)+":"+Arrays.toString(result));
	}
}

總結(jié)：運(yùn)行以上測(cè)試程序后，是不是覺(jué)的神經(jīng)網(wǎng)絡(luò)有很神奇的分類(lèi)效果，但是實(shí)際上神經(jīng)網(wǎng)絡(luò)有一定優(yōu)勢(shì)，但也不是接近人腦的萬(wàn)能算法，很多時(shí)候它會(huì)讓你失望的，還需要結(jié)合各種場(chǎng)景的數(shù)據(jù)大量運(yùn)用去觀察其效果，我們可以把1層隱含層改成n層，并調(diào)整每層節(jié)點(diǎn)數(shù)、迭代次數(shù)、學(xué)習(xí)步長(zhǎng)和動(dòng)量系數(shù)來(lái)得到一個(gè)最優(yōu)化的結(jié)果，但是很多時(shí)候n層隱含層的效果并不比1層有明顯提升，反而計(jì)算更復(fù)雜耗時(shí)，我們對(duì)對(duì)神經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)還需要多實(shí)踐多體會(huì)。

上述內(nèi)容就是如何用代碼實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)算法 ，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注億速云行業(yè)資訊頻道。