如何用MNIST數(shù)據(jù)集進(jìn)行基于深度學(xué)習(xí)的可變形圖像配準(zhǔn)的驗(yàn)證

Deep-learning-based 2D Deformable Image Registration with MNIST

Sarath Chandra

https://medium.com/@sarathchandra.knv31/deep-learning-based-2d-deformable-image-registration-with-mnist-2db3b6ee1426

我被Google Summer of Code 2020錄取，進(jìn)行基于深度學(xué)習(xí)的圖像配準(zhǔn)的研究工作。我的項(xiàng)目鏈接 —— MRI Registration using Deep Learning and Implementation of Thin-Plate Splines

什么是圖像配準(zhǔn)？

圖像配準(zhǔn)是找到將一幅圖像對(duì)齊到另一幅圖像的轉(zhuǎn)換的過(guò)程。通常，這個(gè)過(guò)程的輸入是兩幅圖像：一個(gè)參考圖像，也稱(chēng)為靜態(tài)圖像，和一個(gè)將與靜態(tài)圖像對(duì)齊的移動(dòng)圖像。這里的目標(biāo)是對(duì)移動(dòng)圖像進(jìn)行扭曲以匹配到靜態(tài)圖像。

如何對(duì)圖像進(jìn)行扭曲？

給定一個(gè)移動(dòng)圖像和靜態(tài)圖像作為輸入，卷積編碼器-解碼器網(wǎng)絡(luò)計(jì)算兩個(gè)圖像之間的像素變形。這個(gè)變形場(chǎng)也稱(chēng)為配準(zhǔn)場(chǎng)，給出了運(yùn)動(dòng)圖像中新的采樣位置。通過(guò)對(duì)這些位置的運(yùn)動(dòng)圖像進(jìn)行采樣，得到變換后的圖像。簡(jiǎn)單地說(shuō)，我們只是重新安排移動(dòng)圖像中的像素，直到它盡可能地與靜態(tài)圖像匹配?？蚣苋缦聢D所示。

通過(guò)對(duì)編解碼器網(wǎng)絡(luò)進(jìn)行訓(xùn)練，輸出一個(gè)dense的變形場(chǎng)，該變形場(chǎng)被采樣器用來(lái)使運(yùn)動(dòng)圖像與靜止圖像相匹配。

采樣點(diǎn)不一定映射到移動(dòng)圖像中的整數(shù)位置。所以當(dāng)點(diǎn)是分?jǐn)?shù)時(shí)需要一些插值技術(shù)。此外，為了使整個(gè)框架是端到端可訓(xùn)練的，采樣塊也需要是可微的?？梢允褂谩癝patial transformer networks”。

正如“Spatial transformer networks”中描述的，我使用了雙線性插值，它是可微的，可以寫(xiě)成純張量流函數(shù)。在雙線性插值中，分?jǐn)?shù)位置上的值是四個(gè)最近整數(shù)位置上的值的加權(quán)和。

通過(guò)優(yōu)化變換后的圖像和靜態(tài)圖像之間的相似性度量來(lái)訓(xùn)練網(wǎng)絡(luò)。一旦訓(xùn)練完成，網(wǎng)絡(luò)可以一次性預(yù)測(cè)最優(yōu)配準(zhǔn)域，這與傳統(tǒng)算法不同，傳統(tǒng)算法需要對(duì)每一對(duì)新配準(zhǔn)進(jìn)行數(shù)值優(yōu)化，因此需要更長(zhǎng)的時(shí)間。

訓(xùn)練網(wǎng)絡(luò)

MNIST數(shù)據(jù)集經(jīng)過(guò)篩選，只保留一類(lèi)圖像，而靜態(tài)圖像是從篩選數(shù)據(jù)集的測(cè)試集中隨機(jī)選擇的。網(wǎng)絡(luò)使用相似度度量進(jìn)行訓(xùn)練，這是衡量?jī)煞鶊D像的相似/不相似程度的指標(biāo)。一些度量的例子包括均方誤差(MSE)和歸一化交叉相關(guān)(NCC)。由于交叉相關(guān)損失對(duì)強(qiáng)度變化具有魯棒性，所以使用了交叉相關(guān)損失。它就是兩個(gè)歸一化的圖像的點(diǎn)積。數(shù)學(xué)上是：

S和M分別代表靜態(tài)圖像和運(yùn)動(dòng)圖像。下標(biāo)mean和std分別表示圖像的均值和標(biāo)準(zhǔn)差。對(duì)圖像中所有像素求和。該訓(xùn)練在Tesla K80 GPU上大約需要5分鐘，在CPU (i5-8250U)上大約需要10分鐘。

采樣輸出