PIFuHD中如何使用AI從2D圖像生成人的3D高分辨率重建

這篇文章給大家介紹PIFuHD中如何使用AI從2D圖像生成人的3D高分辨率重建，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對(duì)大家能有所幫助。

首先，讓我們看看他們是如何做到的。

Facebook和南加州大學(xué)的研究人員最近推出了一篇名為“ PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization”的新論文。簡(jiǎn)而言之，它使用某人的2D圖像來重構(gòu)該人的3D高分辨率版本。我們的主要目標(biāo)是對(duì)穿著衣服的人進(jìn)行高保真3d重建，并獲得詳細(xì)信息，例如手指，面部特征和衣服褶皺，正如我們?cè)诖藞D中看到的那樣。因?yàn)榈脑?，目前的方法沒有使用全高分辨率圖像，所以它們降低了圖像的尺寸，并丟失了在3D中創(chuàng)建高分辨率細(xì)節(jié)的重要信息，但是看起來還是不錯(cuò)的。

PiFuHD通過兩步解決問題來實(shí)現(xiàn)這一目標(biāo)。首先，以較低的分辨率（縮小比例）對(duì)模型進(jìn)行訓(xùn)練，以專注于整體推理。這樣，它可以覆蓋圖片的更大空間背景上下文。然后，使用這些上下文信息，模型通過觀察圖像和更高分辨率的第一個(gè)輸出來估計(jì)人的詳細(xì)幾何形狀。粗略層通過對(duì)圖像進(jìn)行下采樣并將其輸入到PIFu模型中來捕獲全局3D結(jié)構(gòu)，而高分辨率的詳細(xì)信息是通過在相似的輕量級(jí)PIFu網(wǎng)絡(luò)中使用這些第一個(gè)3D輸出作為高分辨率輸入來添加的。由于精細(xì)層級(jí)將第一層級(jí)的特征作為3d嵌入，因此不需要以更高的分辨率查看整個(gè)圖像，從而可以在沒有背景的情況下提供此人的高分辨率圖像。具有較低分辨率的背景信息和較高分辨率的模型解決了先前方法遇到的計(jì)算時(shí)間問題。

正像圖中展示的，需要多層PIFu才能獲得高分辨率3D模型，但是使用單層PIFu可以更快地創(chuàng)建準(zhǔn)確的模型。這種新方法是精確的，并且使用這種雙向模型使它在現(xiàn)階段的內(nèi)存限制下可以成功運(yùn)行。下面是使用這種技術(shù)取得的一些更令人印象深刻的結(jié)果……

他們做了一個(gè)公開演示，在那里你可以簡(jiǎn)單地上傳你的圖片并在谷歌colab上看到結(jié)果!只需要一分鐘左右。

關(guān)于PIFuHD中如何使用AI從2D圖像生成人的3D高分辨率重建就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。