近日,，一篇來(lái)自德國(guó)癌癥研究中心、海德堡大學(xué)以及海德堡大學(xué)醫(yī)院研究人員的名為nnU-Net的醫(yī)學(xué)影像分割論文引起了廣泛關(guān)注,。

　　該團(tuán)隊(duì)提出了一個(gè)可以自適應(yīng)任何新數(shù)據(jù)集的醫(yī)學(xué)影像分割框架,，該框架能根據(jù)給定數(shù)據(jù)集的屬性自動(dòng)調(diào)整所有超參數(shù)，整個(gè)過(guò)程無(wú)需人工干預(yù),。僅僅依賴于樸素的U-Net結(jié)構(gòu)和魯棒的訓(xùn)練方案,，nnU-Net在六個(gè)得到公認(rèn)的分割挑戰(zhàn)中實(shí)現(xiàn)了最先進(jìn)的性能。

　　摘要

　　在數(shù)據(jù)集的多樣性的推動(dòng)下,，語(yǔ)義分割是醫(yī)學(xué)圖像分析中的一個(gè)熱門子領(lǐng)域,，每年都會(huì)有大量的新方法提出。然而,，這種不斷增長(zhǎng)的錯(cuò)綜復(fù)雜的方法變得越來(lái)越難以捉摸,。同時(shí)，許多提出的方法未能在提出的論文之外進(jìn)行推廣,，從而妨礙了在新數(shù)據(jù)集上開(kāi)發(fā)分割算法的過(guò)程,。

　　在這里，我們提出了nnU-Net （'no-new-Net'）——一個(gè)自適應(yīng)任何給定新數(shù)據(jù)集的框架,。雖然到目前為止這個(gè)過(guò)程完全由人為驅(qū)動(dòng),，但我們首先嘗試根據(jù)給定數(shù)據(jù)集的屬性自動(dòng)執(zhí)行必要的調(diào)整，例如數(shù)據(jù)預(yù)處理,、圖像分塊大小,、批量大小和推理設(shè)置,。

　　值得注意的是，nnU-Net去掉了在學(xué)界提出的花哨的網(wǎng)絡(luò)結(jié)構(gòu),，而僅僅依賴于嵌入在魯棒的訓(xùn)練方案中的樸素U-Net結(jié)構(gòu),。nnU-Net在六個(gè)得到公認(rèn)的的分割挑戰(zhàn)中實(shí)現(xiàn)了最先進(jìn)的性能。

　　介紹

　　語(yǔ)義分割仍然是醫(yī)學(xué)圖像計(jì)算領(lǐng)域的一個(gè)熱門研究課題,，70％的國(guó)際競(jìng)賽都是圍繞著它展開(kāi),。引起持久關(guān)注的重要原因當(dāng)然是醫(yī)學(xué)領(lǐng)域中遇到的成像數(shù)據(jù)集的多樣性和個(gè)體特性：數(shù)據(jù)集之間的數(shù)據(jù)規(guī)模、圖像維度,、圖像大小,、體素灰度范圍和灰度表示方面差別很大。

　　圖像中的類標(biāo)簽可能高度不平衡,，也可能不明確,，而且數(shù)據(jù)集之間標(biāo)注質(zhì)量的差別也很大。此外,，某些數(shù)據(jù)集在圖像幾何形狀方面非常不均勻，或者可能出現(xiàn)片層不對(duì)齊和極不均勻的間距的情況,?？偠灾@些情況使得將一項(xiàng)任務(wù)的結(jié)果推廣到其他任務(wù)變得更加困難,，并且當(dāng)重新應(yīng)用這些方法來(lái)解決另一個(gè)問(wèn)題時(shí),，它們往往會(huì)失敗。

　　調(diào)整設(shè)計(jì)決策或提出新設(shè)計(jì)概念的過(guò)程是復(fù)雜的：大多數(shù)選擇高度依賴于彼此,，證明選擇的證據(jù)分布在無(wú)數(shù)的論文中,，其中包括許多“噪音”。所以,，近年來(lái)學(xué)者們提出了大量的分割方法,。一個(gè)突出的例子是：U-Net這樣的帶跳過(guò)連接的解碼-編碼結(jié)構(gòu)的各種變體，包括引入殘差連接,、密集連接,、注意力機(jī)制、額外輔助的損失層,、特征重新校準(zhǔn)和其他(如自動(dòng)聚焦層),。

　　具體的修改彼此大不相同，但是它們都在網(wǎng)絡(luò)結(jié)構(gòu)修改上有一個(gè)特別的關(guān)注點(diǎn),?？紤]到大量與分割相關(guān)的論文，以及具體實(shí)現(xiàn)的多樣性以及數(shù)據(jù)集相關(guān)的挑戰(zhàn),，越來(lái)越難以遵循這些文獻(xiàn)來(lái)確定哪些設(shè)計(jì)原則真正地在實(shí)驗(yàn)之外得到了推廣驗(yàn)證,。根據(jù)我們自己的經(jīng)驗(yàn),，許多新的設(shè)計(jì)概念并沒(méi)有提升分割性能，有時(shí)甚至損害了基線的性能,。

　　當(dāng)今醫(yī)學(xué)圖像計(jì)算的一個(gè)關(guān)鍵問(wèn)題是將（分割）方法應(yīng)用于新問(wèn)題的過(guò)程完全由人為驅(qū)動(dòng),。它基于經(jīng)驗(yàn)，論文主要關(guān)注網(wǎng)絡(luò)結(jié)構(gòu),，而略過(guò)所有其他超參數(shù),。基線方法次優(yōu)調(diào)整通常通過(guò)新結(jié)構(gòu)的提出來(lái)進(jìn)行補(bǔ)償,。 由于超參數(shù)空間中的強(qiáng)依賴性和大量的局部最小值,，使得將方法更好地適應(yīng)新問(wèn)題變得非常困難，因此在這個(gè)循環(huán)中的任何人都不能真正地被指責(zé),。這種情況對(duì)研究人員和整個(gè)學(xué)術(shù)圈來(lái)說(shuō)都是令人沮喪的,。特別是在數(shù)據(jù)集如此多樣化的醫(yī)學(xué)成像領(lǐng)域，進(jìn)展在很大程度上取決于我們解決這些問(wèn)題的能力,。

　　本文試圖朝這個(gè)方向邁出第一步：我們提出了no-new-Net（nnU-Net）,，一種包含自動(dòng)適應(yīng)新數(shù)據(jù)集的分割方法?；趯?duì)數(shù)據(jù)集的自動(dòng)分析,，nnU-Net自動(dòng)設(shè)計(jì)并執(zhí)行網(wǎng)絡(luò)訓(xùn)練流程。圍繞標(biāo)準(zhǔn)的 U-Net網(wǎng)絡(luò)結(jié)構(gòu),，我們假定通過(guò)給定的一組系統(tǒng)且謹(jǐn)慎選擇的超參數(shù)的分割方法仍將產(chǎn)生有競(jìng)爭(zhēng)力的性能,。實(shí)際上，在沒(méi)有任何手動(dòng)微調(diào)的情況下,，該方法在幾個(gè)有名的醫(yī)學(xué)分割基準(zhǔn)上實(shí)現(xiàn)了最先進(jìn)的性能,。

　　方法

　　分割算法可以形式化為函數(shù)fθ(x)=  y?，其中x是圖像,，y?是相應(yīng)的預(yù)測(cè)分割,，θ 是訓(xùn)練和應(yīng)用該方法所需的超參數(shù)集合。θ 的維度可以非常大,，包括了從預(yù)處理到推理的整個(gè)流程,。許多已有論文通常側(cè)重于報(bào)告和證實(shí)關(guān)于θ 的最相關(guān)的選擇，理想情況下會(huì)提供源代碼以完全覆蓋θ,。但是,，如果轉(zhuǎn)換到具有不同屬性的新數(shù)據(jù)集，則此過(guò)程缺乏對(duì)如何調(diào)整θ 的深入了解,。 在這里,，我們首次嘗試將此過(guò)程形式化。

　　具體來(lái)說(shuō)，我們尋找在數(shù)據(jù)集之間很好地推廣的函數(shù)g(X, Y)=θ,。在第一步中,，需要識(shí)別那些不需要調(diào)整的超參數(shù)，在我們的例子中,，這些超參數(shù)反映了一個(gè)強(qiáng)大但簡(jiǎn)單的分割體系和一個(gè)魯棒的訓(xùn)練方案,，這些影響因素都是動(dòng)態(tài)的，需要根據(jù)X和Y作出相應(yīng)改變的,。

　　在第二步中,，我們定義動(dòng)態(tài)參數(shù)g，在我們的例子中是一組啟發(fā)式規(guī)則,，以用于調(diào)整規(guī)范化和重采樣方案,，配置圖像分塊大小和批量大小以及計(jì)算網(wǎng)絡(luò)的具體結(jié)構(gòu)，其包括網(wǎng)絡(luò)集成和推理方法,?？偠灾琻nU-Net是一個(gè)可以在沒(méi)有任何用戶交互的情況下適應(yīng)不同未見(jiàn)過(guò)數(shù)據(jù)集的分割框架,。

　　2.1 預(yù)處理

　　圖像標(biāo)準(zhǔn)化

　　這一步驟需要輸入數(shù)據(jù)的模態(tài)信息,。如果模態(tài)不是CT，則nnU-Net通過(guò)減去平均值并除以標(biāo)準(zhǔn)差來(lái)標(biāo)準(zhǔn)化強(qiáng)灰度值,。如果模態(tài)是CT,，則自動(dòng)地根據(jù)訓(xùn)練集分割前景區(qū)域灰度分布的0.5％到99.5％執(zhí)行強(qiáng)灰度值的類似窗位的剪切。為了符合典型的權(quán)重初始化方法,，使用全局前景均值和標(biāo)準(zhǔn)偏差對(duì)數(shù)據(jù)進(jìn)行歸一化。

　　體素間距

　　nnU-Net會(huì)統(tǒng)計(jì)訓(xùn)練數(shù)據(jù)中的所有間距,，并且選擇每個(gè)軸的中值間距作為目標(biāo)間距,。然后使用三階樣條插值對(duì)所有訓(xùn)練集進(jìn)行重采樣。各向異性間距（這里特指平面外間距比平面內(nèi)間距大三倍以上的情況）會(huì)引起插值偽影,。在這種情況下,，我們使用最近鄰?fù)瓿善矫嫱獠逯怠?duì)于相應(yīng)的每一類分割標(biāo)簽,，則使用線性插值來(lái)進(jìn)行重采樣,。

　　2.2 訓(xùn)練步驟

　　網(wǎng)絡(luò)結(jié)構(gòu)

　　三個(gè)U-net模型（2D U-Net、3D U-Net和兩個(gè)3D U-Net模型的級(jí)聯(lián)方式）彼此獨(dú)立配置,、設(shè)計(jì)和訓(xùn)練,。在兩個(gè)3D U-Net模型的級(jí)聯(lián)構(gòu)架下，其第一個(gè)模型產(chǎn)生低分辨率分割結(jié)果,，隨后由第二個(gè)模型進(jìn)行下一步細(xì)化,。相對(duì)于原始的U-Net網(wǎng)絡(luò)，我們只進(jìn)行了下面三個(gè)改變：其一是使用帶邊緣填充的卷積操作來(lái)實(shí)現(xiàn)輸出和輸入形狀的一致，其二是使用實(shí)例歸一化,，其三是使用Leaky ReLUs代替ReLUs,。

　　網(wǎng)絡(luò)超參數(shù)

　　這些參數(shù)需要根據(jù)預(yù)處理的訓(xùn)練數(shù)據(jù)的形狀來(lái)調(diào)整。具體來(lái)說(shuō),，nnU-Net自動(dòng)設(shè)置批量大小,，圖像分塊大小和每個(gè)軸的pooling次數(shù)，使得顯存消耗保持在特定范圍（12 GB TitanXp GPU）內(nèi),。在這一步中,，較大的h圖像分塊大小優(yōu)先于批量大小（最小批量大小為2）,，以獲取更多的空間上下文信息,。每個(gè)軸的大小會(huì)pooling到4個(gè)體素以下。所有U-Net結(jié)構(gòu)在第一層使用30個(gè)卷積濾波器,，并在每個(gè)pooling操作時(shí)將此數(shù)量加倍,。如果在典型case中所選擇的圖像分塊大小覆蓋的體素少于25％，則會(huì)使用下采樣的數(shù)據(jù)訓(xùn)練級(jí)聯(lián)的3D U-Net,。級(jí)聯(lián)旨在當(dāng)圖像分塊大小太小而無(wú)法覆蓋整個(gè)分辨率,，使nnU-Net仍能獲得足夠的上下文。

　　網(wǎng)絡(luò)訓(xùn)練

　　所有U-Net結(jié)構(gòu)都經(jīng)過(guò)五折交叉驗(yàn)證訓(xùn)練,。每輪設(shè)置250個(gè)小批量,。使用交叉熵?fù)p失和Dice損失之和作為損失函數(shù)。使用Adam作為優(yōu)化器,，初始學(xué)習(xí)率為 3×10?4  ,，l2 權(quán)重衰減為 3×10?5。每當(dāng)訓(xùn)練損失的指數(shù)移動(dòng)平均值在最近30個(gè)時(shí)期內(nèi)沒(méi)有改善時(shí),，學(xué)習(xí)率下降0.2倍,。當(dāng)學(xué)習(xí)率低于 10?6 或超過(guò)1000個(gè)訓(xùn)練輪數(shù)時(shí)，停止訓(xùn)練,。我們使用batchgenerators 框架在訓(xùn)練期間進(jìn)行在線數(shù)據(jù)增強(qiáng),。具體地，我們使用彈性變形,、隨機(jī)縮放和隨機(jī)旋轉(zhuǎn)以及gamma增強(qiáng),。如果數(shù)據(jù)是各向異性的，則在平面內(nèi)進(jìn)行2D的空間變換,。

　　2.3 推理

　　使用滑動(dòng)窗口方法預(yù)測(cè)每個(gè)Case,，其中重疊區(qū)域設(shè)置為圖像分塊大小的一半。這增加了靠近中心區(qū)域的預(yù)測(cè)的權(quán)重,。通過(guò)沿所有軸翻轉(zhuǎn)來(lái)進(jìn)行測(cè)試數(shù)據(jù)增強(qiáng),。

　　nnU-Net集成由兩個(gè)U-Net組合而成(2D,、3D和cascade)，并根據(jù)交叉驗(yàn)證結(jié)果自動(dòng)選擇用于測(cè)試集預(yù)測(cè)的最佳模型或集成,。更進(jìn)一步,，nnU-Net還使用交叉驗(yàn)證產(chǎn)生的五個(gè)模型進(jìn)行集成。

　　結(jié)果

　　nnU-Net最初是在醫(yī)學(xué)分割十項(xiàng)全能挑戰(zhàn)賽Decathlon的第一階段的七個(gè)訓(xùn)練數(shù)據(jù)集上開(kāi)發(fā)的,。挑戰(zhàn)賽數(shù)據(jù)集涵蓋了醫(yī)學(xué)分割問(wèn)題中通常遇到的大量差異性和挑戰(zhàn),。nnU-Net在醫(yī)學(xué)十項(xiàng)全能分割挑戰(zhàn)賽（第一階段和第二階段）以及另外五個(gè)流行的醫(yī)學(xué)分割挑戰(zhàn)進(jìn)行了評(píng)估。所有挑戰(zhàn)賽結(jié)果如表格1所示,。

　　圖1所示：nnU-Net在各個(gè)醫(yī)學(xué)分割數(shù)據(jù)測(cè)試集的性能,。所有的排行榜提交都被繪制在上圖（截止到19年3月25日)。Decathlon, LiTS, ACDC and BCV的數(shù)值為Dice得分,，MS lesion和PROMISE12使用了不同的指標(biāo),。

　　醫(yī)學(xué)分割十項(xiàng)全能（Decathlon）

　　該挑戰(zhàn)的第一階段包括上述七個(gè)數(shù)據(jù)集，參與者使用這些數(shù)據(jù)集來(lái)開(kāi)發(fā)可推廣的分割算法,。在第二階段,，提供了以前未知的三個(gè)其他數(shù)據(jù)集。算法不進(jìn)行進(jìn)一步更改或用戶交互應(yīng)用于這些數(shù)據(jù)集,。兩個(gè)階段的評(píng)估都是在官方測(cè)試集上完成的,。在第一階段和第二階段，nnU-Net在十項(xiàng)全能挑戰(zhàn)上有明顯的優(yōu)勢(shì),。

　　心臟分割挑戰(zhàn)賽（ACDC）

　　每個(gè)心臟的cine-MRI圖像的兩個(gè)時(shí)期被分割成三個(gè)部分,。挑戰(zhàn)賽提供了100個(gè)訓(xùn)練案例，每個(gè)案例有兩個(gè)時(shí)期,。我們手動(dòng)拆分nnU-Nets的數(shù)據(jù)進(jìn)行五折交叉驗(yàn)證運(yùn)行,。nnU-Net在開(kāi)放式排行榜中取得了第一名（基于50個(gè)測(cè)試用例），并在此數(shù)據(jù)集上達(dá)到了state-of-the art,。

　　縱向多發(fā)性硬化病變分割挑戰(zhàn)

　　任務(wù)是在MRI圖像中分割多發(fā)性硬化癥,。提供了5名患者，每名患者有4-5個(gè)時(shí)間點(diǎn)（總共21個(gè)時(shí)間點(diǎn)）,，有兩個(gè)評(píng)估者，每個(gè)時(shí)間點(diǎn)提供了注釋,。我們將每個(gè)評(píng)估者視為一個(gè)單獨(dú)的訓(xùn)練集,，并手動(dòng)拆分訓(xùn)練案例以確保患者分層,。在測(cè)試集中,，nnU-Net在163份提交中排名第5，得分為93.09,，僅落后于范德比爾特大學(xué)的四份提交結(jié)果,，其中最高分為93.21。

　　PROMISE12

　　任務(wù)是在各向異性的MRI圖像中分割前列腺。提供了50個(gè)帶標(biāo)注的訓(xùn)練案例和30個(gè)未標(biāo)記的測(cè)試案例,。nnU-Net的測(cè)試集得分為89.08,，在總共290份提交中排名第11（第一名：89.59）。

　　LiTS

　　肝腫瘤分割的挑戰(zhàn)由131個(gè)訓(xùn)練圖像（CT）和70個(gè)測(cè)試用例組成,。對(duì)于訓(xùn)練病例,，提供了肝臟和肝臟腫瘤的分割。nnU-Net在病變和肝臟上的Dice評(píng)分分別為0.725和0.958,。通過(guò)移除最大連通前景區(qū)域以外的所有區(qū)域進(jìn)行后處理將Dice得分提高到0.738和0.960,，在開(kāi)放的排行榜病變分割的Dice評(píng)分達(dá)到了state of the art，并且肝臟分割在123支隊(duì)伍排名第17位（第一名：0.966）,。

　　Beyond the Cranial Vault Challenge (Abdomen)

　　這個(gè)數(shù)據(jù)集的任務(wù)是在腹部CT圖像中分割13個(gè)器官,。挑戰(zhàn)提供了30個(gè)帶標(biāo)注的訓(xùn)練圖像和20個(gè)測(cè)試圖像。nnU-Net 在這個(gè)數(shù)據(jù)集上達(dá)到了state of the art,，平均Dice得分為88.1％,，比第二名高出3個(gè)點(diǎn)（排行榜共有43個(gè)提交）。具體地,，nnU-Net在13種器官中的11種得分最高,。

　　表格2顯示了為驗(yàn)證nnU-Net中的選擇而設(shè)計(jì)進(jìn)行的消融研究。所有實(shí)驗(yàn)均在Decathlon第一階段的代表性數(shù)據(jù)集上使用相同的數(shù)據(jù)劃分進(jìn)行的,。這些結(jié)果一方面表明我們應(yīng)該修改使用Leaky ReLUs,，另一方面驗(yàn)證了我們選擇的實(shí)例規(guī)范化、數(shù)據(jù)增強(qiáng)和損失函數(shù)的效果,。

　　圖2所示,。 nnU-Net設(shè)計(jì)選擇的消融實(shí)驗(yàn)。 使用訓(xùn)練數(shù)據(jù)的一部分和3D U-Net對(duì)來(lái)自Decathlon的代表性數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),。 nnU-Net的數(shù)值代表平均前景Dice分?jǐn)?shù)（例如肝臟數(shù)據(jù)集的肝臟和腫瘤篩子系數(shù)的平均值）,，消融研究的值代表Dice分?jǐn)?shù)百分比的變化。

　　討論

　　我們介紹了nnU-Net,，一個(gè)可以自動(dòng)適應(yīng)任何給定數(shù)據(jù)集而無(wú)需用戶干預(yù)的醫(yī)學(xué)分割框架,。據(jù)我們所知，nnU-Net是第一個(gè)嘗試形式化數(shù)據(jù)集之間需要進(jìn)行的必要調(diào)整的分割框架,。nnU-Net在六個(gè)公開(kāi)的分割挑戰(zhàn)中實(shí)現(xiàn)了最先進(jìn)的性能,。這是非常了不起的，因?yàn)閚nU-Net不依賴于近年來(lái)提出的各種復(fù)雜的分割結(jié)構(gòu),，而只依賴于簡(jiǎn)單的U-Net結(jié)構(gòu),。必須強(qiáng)調(diào)的是，我們沒(méi)有在挑戰(zhàn)數(shù)據(jù)集之間手動(dòng)調(diào)整超參數(shù),，所有設(shè)計(jì)選擇都是由nnU-Net自動(dòng)確定的,。更令人驚訝的是,，它在一部分?jǐn)?shù)據(jù)集上超過(guò)其他專門手動(dòng)設(shè)計(jì)的算法。

　　nnU-Net包括一些通用的固定設(shè)計(jì)選擇,，如U-Net結(jié)構(gòu),、Dice損失、數(shù)據(jù)增強(qiáng)和模型集成,，以及由一組遵循我們的分割經(jīng)驗(yàn)的規(guī)則確定的一些動(dòng)態(tài)設(shè)計(jì)選擇,。雖然，使用此類規(guī)則可能不是解決此問(wèn)題的最佳方法,。通過(guò)給定更多的數(shù)據(jù)集,，未來(lái)的工作可能會(huì)嘗試從數(shù)據(jù)集的屬性中直接學(xué)習(xí)這些規(guī)則。雖然nnU-Net的選擇可以在多個(gè)數(shù)據(jù)集中實(shí)現(xiàn)強(qiáng)大的分割性能,，但這并不意味著我們已找到全局最優(yōu)的配置,。

　　事實(shí)上，從表格2所示的消融實(shí)驗(yàn)可以看出,， Leaky ReLU替換ReLU的選擇并沒(méi)有影響性能,，我們的數(shù)據(jù)增強(qiáng)方案可能并不適用于所有數(shù)據(jù)集，后處理也有待于進(jìn)一步的研究,。我們?cè)贚iTS的結(jié)果表明,，正確選擇的后處理可能是有益的。這種后處理可以通過(guò)分析訓(xùn)練數(shù)據(jù)或通過(guò)基于交叉驗(yàn)證結(jié)果選擇方案來(lái)自動(dòng)化,。這種自動(dòng)化的嘗試在進(jìn)行Decathlon挑戰(zhàn)賽時(shí)nnU-Net初始版本的一部分,，但后來(lái)由于不能持續(xù)改進(jìn)結(jié)果而被丟棄。

　　現(xiàn)在我們已經(jīng)建立了迄今為止最強(qiáng)大的U-Net baseline,，我們可以系統(tǒng)地評(píng)估更先進(jìn)的網(wǎng)絡(luò)設(shè)計(jì)的通用性以及相對(duì)于此處采用的普通架構(gòu)的性能提升,。因此，nnU-Net不僅可以用作開(kāi)箱即用的分割工具,，還可以用作未來(lái)醫(yī)學(xué)分割相關(guān)發(fā)表論文的強(qiáng)大U-Net baseline和平臺(tái),。