新AI技術現(xiàn)身頂會：只需一張大頭照，就能生成逼真3D人臉

如果只有一張圖片，怎么創(chuàng)建出一個人逼真的數(shù)字化身？

在 2020 年計算機視覺與模式識別會議（CVPR）期間，倫敦帝國學院和 AI 面部分析初創(chuàng)公司 FaceSoft.io 的研究人員介紹了一種 “AvatarMe” 技術，該技術能夠僅僅通過一張普通的圖像或照片，就重建逼真的 3D 半身像。更厲害的是，不僅能從低分辨率目標生成真實的 4K x 6K 分辨率的 3D 人臉，而且還可進行細致的光線反射。

圖｜3D 人臉重建和實時渲染效果（來源：GitHub）

從視頻會議、虛擬現(xiàn)實到影視游戲，渲染 3D 人臉都有著數(shù)不盡的應用場景，盡管可以在沒有 AI 的情況下擬合出幾何形狀，但是需要更多的信息才能在任意場景中渲染人臉。

為了提取這些信息，研究人員使用一個有 168 盞 LED 燈和 9 個單反相機的采樣裝置，拍攝了 200 張人臉的毛孔級反射圖，然后他們用這些數(shù)據(jù)訓練了一個人工智能模型 GANFIT，它可以從紋理合成逼真的人臉圖，同時優(yōu)化渲染和輸出之間的“身份匹配”。

與其他生成性對抗網(wǎng)絡（GANs）類似，GANFIT 是一個由兩部分組成的模型：一個生成樣本的生成器和一個試圖區(qū)分生成樣本和真實樣本的鑒別器。生成器和鑒別器各自的能力互補，直到鑒別器無法將真實的例子與合成的例子區(qū)分開來。

此外，AvatarMe 的另一個組件則負責增強紋理的分辨率，還有一個單獨的模塊從被照明的紋理中預測皮膚結構（如毛孔、皺紋或頭發(fā)）中每個像素的反射率，甚至估計表面細節(jié)（如細皺紋、疤痕和皮膚毛孔）。

研究人員說，在實驗中，AvatarMe 在最終的渲染中沒有產生任何偽影，并成功地處理了像太陽鏡這樣的 “極端” 案例和遮擋，反射率是一致的，即使在不同的環(huán)境中，系統(tǒng)都 “真實地” 照亮了被攝體。

圖｜不同場景下可以自適應的人臉光線反射（來源：GitHub）

三維人臉和幾何紋理的重建是當前計算機視覺、圖形和機器學習交叉領域中最受歡迎的方向，這項研究的關鍵工作之一，是對三維可變形模型（3DMM）擬合法的改進。

在優(yōu)化渲染和輸入之間的身份匹配的同時，將 3DMM 擬合到 “野生” 輸入圖像，并合成完整的 UV 紋理。

紋理被上采樣 8 次，以合成合理的高頻細節(jié)。然后，研究人員使用圖像轉換網(wǎng)絡對紋理進行照明，并獲得具有高頻細節(jié)的漫反射反照率，使用單獨的網(wǎng)絡從漫反射反照率和 3DMM 形狀法線推斷出鏡面反射率、漫反射法線和鏡面法線。此外，網(wǎng)絡是在 512x512 補丁上訓練的，推斷過程則是在 1536x1536 補丁上進行。最后，將面部形狀和一貫推斷出的反射率傳遞給頭部模型，呈現(xiàn)出在任何環(huán)境中實時渲染的效果。

圖｜AvatarMe 的基本方法框架（來源：GitHub）

如何增強細節(jié)？核心是基于補丁的圖像到圖像轉換。照明任務、去光以及從給定的輸入圖像（UV）中推斷漫反射和鏡面反射分量的任務可以表述為域適應問題，研究人員選擇的模型是 pix2pixHD，它在高分辨率數(shù)據(jù)的圖像到圖像轉換中顯示了令人印象深刻的結果。

為了實現(xiàn)皮膚的真實感繪制，研究人員分別對所需幾何體的漫反射、鏡面反射反照率以及法線進行建模。因此，在給定一幅無約束的人臉圖像作為輸入的情況下，他們就能推斷出人臉的幾何參數(shù)以及漫反射反照率（AD）、漫反射法線（ND）、鏡面反射反照率（as）和鏡面反射法線（NS）。

圖｜a、圖像輸入；b、基礎重建；c、超分辨率；d、去光；e、最終渲染（來源：GitHub）

這個細節(jié)優(yōu)化過程還是存在一定小坎坷的。例如，為了訓練算法模型，研究人員捕獲的數(shù)據(jù)具有非常高的分辨率（超過 4K），因此不能用于使用 pix2pixHD 進行 “原樣” 訓練，因為硬件限制（即使是在 32GB 的 GPU 上，也無法以原始格式擬合此類高分辨率數(shù)據(jù)）。此外，pix2pixHD 只考慮紋理信息，不能利用形狀法線和深度形式的幾何細節(jié)來提高生成的漫反射和鏡面反射組件的質量。

所以，為了克服上述問題，研發(fā)人員將原始高分辨率數(shù)據(jù)分割成 512×512 像素的小塊進行訓練，在推斷過程中，由于網(wǎng)絡是完全卷積的，則補丁可以更大（例如 1536×1536 像素）。

AvatarMe 并非沒有局限性，這個局限性就是現(xiàn)在美國科技公司都在極力呼吁的 “種族歧視” 問題。

論文中提到，由于訓練數(shù)據(jù)集沒有包含來自某些種族的主題示例，因此在嘗試重建膚色較深的面孔時會導致效果不佳，且由于所需數(shù)據(jù)與 3DMM 模型的微小對準誤差，重建的鏡面反照率和法線有時會顯示出一些高頻孔隙細節(jié)的輕微模糊。最后，面部重建的精度跟輸入的照片質量息息相關，一張光線充足、分辨率較高的照片會產生更精確的結果。

研究人員表示，在業(yè)內，這是用任何肖像圖像（包括黑白照片和手繪圖）實現(xiàn) “可渲染” 人臉的第一種方法，作為一種最新的 3D 人臉生成和實時渲染 AI 系統(tǒng)，AvatarMe 有望使以前需要人工設計的過程逐步自動化。

https://www.toutiao.com/i6840015163211383310/