keras如何實(shí)現(xiàn)圖像風(fēng)格轉(zhuǎn)換 -

keras如何實(shí)現(xiàn)圖像風(fēng)格轉(zhuǎn)換 -，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

前言

說到深度學(xué)習(xí)的應(yīng)用，第一個(gè)想到的就是Prisma App的圖像風(fēng)格轉(zhuǎn)換。既然感興趣就直接開始干，讀了論文，一知半解；看了別人的源碼，才算大概了解的具體的實(shí)現(xiàn)，也驚嘆別人的奇思妙想。

1. 論文可以參考【A Neural Algorithm of Artistic Style】，網(wǎng)上也有中文的版本。

   http://arxiv.org/abs/1508.06576

2. 使用的工具：py34、keras1.1.2、theano0.8.2、GeForce GT 740M (CNMeM is disabled, cuDNN not available)。

實(shí)現(xiàn)原理

1. 總流程

• 實(shí)現(xiàn)流程如下，可以看到這里總共分為5層，本次實(shí)驗(yàn)使用vgg16模型實(shí)現(xiàn)的。
  

• 如上，a有個(gè)別名是conv1_1，b是conv2_1，依次類推，c，d，e對(duì)應(yīng)conv3_1，conv4_1，conv5_1；輸入圖片有風(fēng)格圖片style image和內(nèi)容圖片content image，輸出的是就是合成圖片，然后用合成圖片為指導(dǎo)訓(xùn)練，但是訓(xùn)練的對(duì)象不像是普通的神經(jīng)網(wǎng)絡(luò)那樣訓(xùn)練權(quán)值w和偏置項(xiàng)b，而是訓(xùn)練合成圖片上的像素點(diǎn)，以達(dá)到損失函數(shù)不斷減少的效果。論文使用的是隨機(jī)的噪聲像素圖為初始合成圖，但是使用原始圖片會(huì)快一點(diǎn)。

  
  

2. 內(nèi)容損失函數(shù) - Content Loss

• 下面是content loss函數(shù)的定義。
  

• l代表第l層的特征表示，p是原始圖片，x是生成圖片。公式的含義就是對(duì)于每一層，原始圖片生成特征圖和生成圖片的特征圖的一一對(duì)應(yīng)做平方差。

3. 風(fēng)格損失函數(shù) - style loss

• 在定義風(fēng)格損失函數(shù)之前首先定義一個(gè)Gram矩陣。
  

• F是生成圖片的特征圖。上面式子的含義：Gram第i行，第j列的數(shù)值等于把生成圖在第l層的第i個(gè)特征圖與第j個(gè)特征圖分別拉成一維后相乘求和。
  

• 上面是風(fēng)格損失函數(shù)，Nl是指生成圖的特征圖數(shù)量，Ml是圖片寬乘高。a是指風(fēng)格圖片，x是指生成圖片。G是生成圖的Gram矩陣，A是風(fēng)格圖的Gram矩陣，wl是權(quán)重。

4. 總損失

• 總損失函數(shù)如下，alpha與beta比例為1*10^-3或更小。
  

代碼講解

1. 圖片預(yù)處理和還原

2. content loss

3. style loss

結(jié)果

1. 可以看出效果每一代都有進(jìn)步，因?yàn)樽约旱娘@卡渣，跑一代估計(jì)要1.5個(gè)小時(shí)，自己測(cè)試的時(shí)候總共跑了14個(gè)小時(shí)，不過這里有個(gè)技巧，就是可以把上一代的圖片繼續(xù)做輸入，這樣中途有什么事就可以停止。下次只要把上次輸出的圖片當(dāng)輸入就可以。

2. vgg16模型加載原項(xiàng)目的權(quán)值。

3. 具體項(xiàng)目代碼可見githua上的代碼、權(quán)值文件和測(cè)試圖片，因?yàn)橹型拘薷倪^，可能有些地方需要改過來，不過代碼比較簡(jiǎn)單，估計(jì)很快就可以找到問題了。

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝您對(duì)億速云的支持。