溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

如何壓縮版styleGAN合成高保真圖像

發(fā)布時(shí)間：2022-01-14 09:04:59 來(lái)源：億速云 閱讀：121 作者：iii 欄目：大數(shù)據(jù)

本篇內(nèi)容介紹了“如何壓縮版styleGAN合成高保真圖像”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

該實(shí)現(xiàn)所需的訓(xùn)練代碼非常簡(jiǎn)單：    
pip install -r requirements.txtpython train.py --cfg configs/mobile_stylegan_ffhq.json --gpus <n_gpus

如何壓縮版styleGAN合成高保真圖像

StyleGAN2（左）與 MobileStyleGAN（右）的生成效果展示。    
 
下面我們來(lái)具體看一下 MobileStyleGAN 架構(gòu)的方法細(xì)節(jié)。  

MobileStyleGAN 架構(gòu)    
 
MobileStyleGAN 架構(gòu)是在基于樣式生成模型的基礎(chǔ)上構(gòu)建的，它包括映射網(wǎng)絡(luò)和合成網(wǎng)絡(luò)，前者采用的是 StyleGAN2 中的映射網(wǎng)絡(luò)，該研究的重點(diǎn)是設(shè)計(jì)了一個(gè)計(jì)算高效的合成網(wǎng)絡(luò)。    
 
MobileStyleGAN 與 StyleGAN2 的區(qū)別    
 
StyleGAN2 使用基于像素的圖像表征，并旨在直接預(yù)測(cè)輸出圖像的像素值。而 MobileStyleGAN 使用基于頻率的圖像表征，旨在預(yù)測(cè)輸出圖像的離散小波變換 (DWT)。當(dāng)應(yīng)用到 2D 圖像，DWT 將信道轉(zhuǎn)換成四個(gè)大小相同的信道，這幾個(gè)信道具有較低的空間分辨率和不同的頻帶。然后，逆向離散小波變換(IDWT) 從小波域重建基于像素的表征，如下圖所示。    

如何壓縮版styleGAN合成高保真圖像

StyleGAN2 利用跳遠(yuǎn)生成器（skip-generator），通過(guò)對(duì)同一圖像的多個(gè)分辨率的 RGB 值進(jìn)行顯式求和來(lái)形成輸出圖像。該研究發(fā)現(xiàn)，當(dāng)在小波域中對(duì)圖像進(jìn)行預(yù)測(cè)時(shí)，基于跳遠(yuǎn)連接（skip connection）的預(yù)測(cè)頭對(duì)生成圖像的質(zhì)量影響不大。因此，為了降低計(jì)算復(fù)雜度，該研究采用網(wǎng)絡(luò)中最后一個(gè)塊的單個(gè)預(yù)測(cè)頭替換跳遠(yuǎn)生成器。但從中間塊中預(yù)測(cè)目標(biāo)圖像對(duì)于穩(wěn)定的圖像合成具有重要意義。因此，該研究為每個(gè)中間塊添加一個(gè)輔助預(yù)測(cè)頭，根據(jù)目標(biāo)圖像的空間分辨率對(duì)其進(jìn)行預(yù)測(cè)。  

 

如何壓縮版styleGAN合成高保真圖像

StyleGAN2 和 MobileStyleGAN 的預(yù)測(cè)頭區(qū)別。    
 
如下圖所示，調(diào)制卷積包括調(diào)制、卷積和歸一化（左）。深度可分離調(diào)制卷積也包括這些部分（中）。StyleGAN2 描述了用于權(quán)重的調(diào)制 / 解調(diào)，該研究分別將它們應(yīng)用于輸入 / 輸出激活，這使得描述深度可分離調(diào)制卷積更加容易。  

 

如何壓縮版styleGAN合成高保真圖像

 
StyleGAN2 構(gòu)造塊使用 ConvTranspose（下圖左）來(lái) upscale 輸入特征映射。而該研究在 MobileStyleGAN 構(gòu)造塊（下圖右）中使用 IDWT 當(dāng)作 upscale 函數(shù)。由于 IDWT 不包含可訓(xùn)練參數(shù)，該研究在 IDWT 層之后增加了額外的深度可分離調(diào)制卷積。    

如何壓縮版styleGAN合成高保真圖像

StyleGAN2 和 MobileStyleGAN 的完整構(gòu)造塊結(jié)構(gòu)如下圖所示：  

 

如何壓縮版styleGAN合成高保真圖像

基于蒸餾的訓(xùn)練過(guò)程      

類似于此前的一些研究，該研究的訓(xùn)練框架也基于知識(shí)蒸餾技術(shù)。該研究將 StyleGAN2 作為教師網(wǎng)絡(luò)，訓(xùn)練 MobileStyleGAN 來(lái)模仿 StyleGAN2 的功能，訓(xùn)練框架如下圖所示。    

如何壓縮版styleGAN合成高保真圖像

“如何壓縮版styleGAN合成高保真圖像”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手