近日，一篇來自德國癌癥研究中心,、海德堡大學以及海德堡大學醫(yī)院研究人員的名為nnU-Net的醫(yī)學影像分割論文引起了廣泛關(guān)注,。

　　該團隊提出了一個可以自適應任何新數(shù)據(jù)集的醫(yī)學影像分割框架,，該框架能根據(jù)給定數(shù)據(jù)集的屬性自動調(diào)整所有超參數(shù),，整個過程無需人工干預。僅僅依賴于樸素的U-Net結(jié)構(gòu)和魯棒的訓練方案,，nnU-Net在六個得到公認的分割挑戰(zhàn)中實現(xiàn)了最先進的性能,。

　　摘要

　　在數(shù)據(jù)集的多樣性的推動下，語義分割是醫(yī)學圖像分析中的一個熱門子領(lǐng)域,，每年都會有大量的新方法提出,。然而，這種不斷增長的錯綜復雜的方法變得越來越難以捉摸,。同時,，許多提出的方法未能在提出的論文之外進行推廣，從而妨礙了在新數(shù)據(jù)集上開發(fā)分割算法的過程,。

　　在這里,，我們提出了nnU-Net （'no-new-Net'）——一個自適應任何給定新數(shù)據(jù)集的框架。雖然到目前為止這個過程完全由人為驅(qū)動,，但我們首先嘗試根據(jù)給定數(shù)據(jù)集的屬性自動執(zhí)行必要的調(diào)整,，例如數(shù)據(jù)預處理、圖像分塊大小,、批量大小和推理設(shè)置,。

　　值得注意的是，nnU-Net去掉了在學界提出的花哨的網(wǎng)絡結(jié)構(gòu),，而僅僅依賴于嵌入在魯棒的訓練方案中的樸素U-Net結(jié)構(gòu),。nnU-Net在六個得到公認的的分割挑戰(zhàn)中實現(xiàn)了最先進的性能。

　　介紹

　　語義分割仍然是醫(yī)學圖像計算領(lǐng)域的一個熱門研究課題,，70％的國際競賽都是圍繞著它展開,。引起持久關(guān)注的重要原因當然是醫(yī)學領(lǐng)域中遇到的成像數(shù)據(jù)集的多樣性和個體特性：數(shù)據(jù)集之間的數(shù)據(jù)規(guī)模、圖像維度,、圖像大小,、體素灰度范圍和灰度表示方面差別很大。

　　圖像中的類標簽可能高度不平衡,，也可能不明確,，而且數(shù)據(jù)集之間標注質(zhì)量的差別也很大。此外,，某些數(shù)據(jù)集在圖像幾何形狀方面非常不均勻，或者可能出現(xiàn)片層不對齊和極不均勻的間距的情況,?？偠灾?，這些情況使得將一項任務的結(jié)果推廣到其他任務變得更加困難，并且當重新應用這些方法來解決另一個問題時,，它們往往會失敗,。

　　調(diào)整設(shè)計決策或提出新設(shè)計概念的過程是復雜的：大多數(shù)選擇高度依賴于彼此，證明選擇的證據(jù)分布在無數(shù)的論文中,，其中包括許多“噪音”,。所以，近年來學者們提出了大量的分割方法,。一個突出的例子是：U-Net這樣的帶跳過連接的解碼-編碼結(jié)構(gòu)的各種變體,，包括引入殘差連接、密集連接,、注意力機制,、額外輔助的損失層、特征重新校準和其他(如自動聚焦層),。

　　具體的修改彼此大不相同,，但是它們都在網(wǎng)絡結(jié)構(gòu)修改上有一個特別的關(guān)注點?？紤]到大量與分割相關(guān)的論文,，以及具體實現(xiàn)的多樣性以及數(shù)據(jù)集相關(guān)的挑戰(zhàn)，越來越難以遵循這些文獻來確定哪些設(shè)計原則真正地在實驗之外得到了推廣驗證,。根據(jù)我們自己的經(jīng)驗,，許多新的設(shè)計概念并沒有提升分割性能，有時甚至損害了基線的性能,。

　　當今醫(yī)學圖像計算的一個關(guān)鍵問題是將（分割）方法應用于新問題的過程完全由人為驅(qū)動,。它基于經(jīng)驗，論文主要關(guān)注網(wǎng)絡結(jié)構(gòu),，而略過所有其他超參數(shù),。基線方法次優(yōu)調(diào)整通常通過新結(jié)構(gòu)的提出來進行補償,。 由于超參數(shù)空間中的強依賴性和大量的局部最小值,，使得將方法更好地適應新問題變得非常困難，因此在這個循環(huán)中的任何人都不能真正地被指責,。這種情況對研究人員和整個學術(shù)圈來說都是令人沮喪的,。特別是在數(shù)據(jù)集如此多樣化的醫(yī)學成像領(lǐng)域，進展在很大程度上取決于我們解決這些問題的能力,。

　　本文試圖朝這個方向邁出第一步：我們提出了no-new-Net（nnU-Net）,，一種包含自動適應新數(shù)據(jù)集的分割方法?；趯?shù)據(jù)集的自動分析,，nnU-Net自動設(shè)計并執(zhí)行網(wǎng)絡訓練流程,。圍繞標準的 U-Net網(wǎng)絡結(jié)構(gòu)，我們假定通過給定的一組系統(tǒng)且謹慎選擇的超參數(shù)的分割方法仍將產(chǎn)生有競爭力的性能,。實際上,，在沒有任何手動微調(diào)的情況下，該方法在幾個有名的醫(yī)學分割基準上實現(xiàn)了最先進的性能,。

　　方法

　　分割算法可以形式化為函數(shù)fθ(x)=  y?,，其中x是圖像，y?是相應的預測分割,，θ 是訓練和應用該方法所需的超參數(shù)集合,。θ 的維度可以非常大，包括了從預處理到推理的整個流程,。許多已有論文通常側(cè)重于報告和證實關(guān)于θ 的最相關(guān)的選擇,，理想情況下會提供源代碼以完全覆蓋θ。但是,，如果轉(zhuǎn)換到具有不同屬性的新數(shù)據(jù)集,，則此過程缺乏對如何調(diào)整θ 的深入了解。 在這里,，我們首次嘗試將此過程形式化,。

　　具體來說，我們尋找在數(shù)據(jù)集之間很好地推廣的函數(shù)g(X, Y)=θ,。在第一步中,，需要識別那些不需要調(diào)整的超參數(shù)，在我們的例子中,，這些超參數(shù)反映了一個強大但簡單的分割體系和一個魯棒的訓練方案,，這些影響因素都是動態(tài)的，需要根據(jù)X和Y作出相應改變的,。

　　在第二步中,，我們定義動態(tài)參數(shù)g，在我們的例子中是一組啟發(fā)式規(guī)則,，以用于調(diào)整規(guī)范化和重采樣方案,，配置圖像分塊大小和批量大小以及計算網(wǎng)絡的具體結(jié)構(gòu)，其包括網(wǎng)絡集成和推理方法,?？偠灾琻nU-Net是一個可以在沒有任何用戶交互的情況下適應不同未見過數(shù)據(jù)集的分割框架,。

　　2.1 預處理

　　圖像標準化

　　這一步驟需要輸入數(shù)據(jù)的模態(tài)信息,。如果模態(tài)不是CT，則nnU-Net通過減去平均值并除以標準差來標準化強灰度值,。如果模態(tài)是CT,，則自動地根據(jù)訓練集分割前景區(qū)域灰度分布的0.5％到99.5％執(zhí)行強灰度值的類似窗位的剪切,。為了符合典型的權(quán)重初始化方法，使用全局前景均值和標準偏差對數(shù)據(jù)進行歸一化,。

　　體素間距

　　nnU-Net會統(tǒng)計訓練數(shù)據(jù)中的所有間距，并且選擇每個軸的中值間距作為目標間距,。然后使用三階樣條插值對所有訓練集進行重采樣,。各向異性間距（這里特指平面外間距比平面內(nèi)間距大三倍以上的情況）會引起插值偽影。在這種情況下,，我們使用最近鄰完成平面外插值,。對于相應的每一類分割標簽，則使用線性插值來進行重采樣,。

　　2.2 訓練步驟

　　網(wǎng)絡結(jié)構(gòu)

　　三個U-net模型（2D U-Net,、3D U-Net和兩個3D U-Net模型的級聯(lián)方式）彼此獨立配置、設(shè)計和訓練,。在兩個3D U-Net模型的級聯(lián)構(gòu)架下,，其第一個模型產(chǎn)生低分辨率分割結(jié)果，隨后由第二個模型進行下一步細化,。相對于原始的U-Net網(wǎng)絡,，我們只進行了下面三個改變：其一是使用帶邊緣填充的卷積操作來實現(xiàn)輸出和輸入形狀的一致，其二是使用實例歸一化,，其三是使用Leaky ReLUs代替ReLUs,。

　　網(wǎng)絡超參數(shù)

　　這些參數(shù)需要根據(jù)預處理的訓練數(shù)據(jù)的形狀來調(diào)整。具體來說,，nnU-Net自動設(shè)置批量大小,，圖像分塊大小和每個軸的pooling次數(shù)，使得顯存消耗保持在特定范圍（12 GB TitanXp GPU）內(nèi),。在這一步中,，較大的h圖像分塊大小優(yōu)先于批量大小（最小批量大小為2）,，以獲取更多的空間上下文信息,。每個軸的大小會pooling到4個體素以下。所有U-Net結(jié)構(gòu)在第一層使用30個卷積濾波器,，并在每個pooling操作時將此數(shù)量加倍,。如果在典型case中所選擇的圖像分塊大小覆蓋的體素少于25％，則會使用下采樣的數(shù)據(jù)訓練級聯(lián)的3D U-Net,。級聯(lián)旨在當圖像分塊大小太小而無法覆蓋整個分辨率,，使nnU-Net仍能獲得足夠的上下文。

　　網(wǎng)絡訓練

　　所有U-Net結(jié)構(gòu)都經(jīng)過五折交叉驗證訓練,。每輪設(shè)置250個小批量,。使用交叉熵損失和Dice損失之和作為損失函數(shù),。使用Adam作為優(yōu)化器，初始學習率為 3×10?4  ,，l2 權(quán)重衰減為 3×10?5,。每當訓練損失的指數(shù)移動平均值在最近30個時期內(nèi)沒有改善時，學習率下降0.2倍,。當學習率低于 10?6 或超過1000個訓練輪數(shù)時,，停止訓練。我們使用batchgenerators 框架在訓練期間進行在線數(shù)據(jù)增強,。具體地,，我們使用彈性變形、隨機縮放和隨機旋轉(zhuǎn)以及gamma增強,。如果數(shù)據(jù)是各向異性的,，則在平面內(nèi)進行2D的空間變換。

　　2.3 推理

　　使用滑動窗口方法預測每個Case,，其中重疊區(qū)域設(shè)置為圖像分塊大小的一半,。這增加了靠近中心區(qū)域的預測的權(quán)重。通過沿所有軸翻轉(zhuǎn)來進行測試數(shù)據(jù)增強,。

　　nnU-Net集成由兩個U-Net組合而成(2D,、3D和cascade)，并根據(jù)交叉驗證結(jié)果自動選擇用于測試集預測的最佳模型或集成,。更進一步,，nnU-Net還使用交叉驗證產(chǎn)生的五個模型進行集成。

　　結(jié)果

　　nnU-Net最初是在醫(yī)學分割十項全能挑戰(zhàn)賽Decathlon的第一階段的七個訓練數(shù)據(jù)集上開發(fā)的,。挑戰(zhàn)賽數(shù)據(jù)集涵蓋了醫(yī)學分割問題中通常遇到的大量差異性和挑戰(zhàn),。nnU-Net在醫(yī)學十項全能分割挑戰(zhàn)賽（第一階段和第二階段）以及另外五個流行的醫(yī)學分割挑戰(zhàn)進行了評估。所有挑戰(zhàn)賽結(jié)果如表格1所示,。

　　圖1所示：nnU-Net在各個醫(yī)學分割數(shù)據(jù)測試集的性能,。所有的排行榜提交都被繪制在上圖（截止到19年3月25日)。Decathlon, LiTS, ACDC and BCV的數(shù)值為Dice得分,，MS lesion和PROMISE12使用了不同的指標,。

　　醫(yī)學分割十項全能（Decathlon）

　　該挑戰(zhàn)的第一階段包括上述七個數(shù)據(jù)集，參與者使用這些數(shù)據(jù)集來開發(fā)可推廣的分割算法,。在第二階段,，提供了以前未知的三個其他數(shù)據(jù)集。算法不進行進一步更改或用戶交互應用于這些數(shù)據(jù)集,。兩個階段的評估都是在官方測試集上完成的,。在第一階段和第二階段，nnU-Net在十項全能挑戰(zhàn)上有明顯的優(yōu)勢。

　　心臟分割挑戰(zhàn)賽（ACDC）

　　每個心臟的cine-MRI圖像的兩個時期被分割成三個部分,。挑戰(zhàn)賽提供了100個訓練案例,，每個案例有兩個時期。我們手動拆分nnU-Nets的數(shù)據(jù)進行五折交叉驗證運行,。nnU-Net在開放式排行榜中取得了第一名（基于50個測試用例）,，并在此數(shù)據(jù)集上達到了state-of-the art。

　　縱向多發(fā)性硬化病變分割挑戰(zhàn)

　　任務是在MRI圖像中分割多發(fā)性硬化癥,。提供了5名患者,，每名患者有4-5個時間點（總共21個時間點），有兩個評估者,，每個時間點提供了注釋。我們將每個評估者視為一個單獨的訓練集,，并手動拆分訓練案例以確?；颊叻謱印Ｔ跍y試集中,，nnU-Net在163份提交中排名第5,，得分為93.09，僅落后于范德比爾特大學的四份提交結(jié)果,，其中最高分為93.21,。

　　PROMISE12

　　任務是在各向異性的MRI圖像中分割前列腺。提供了50個帶標注的訓練案例和30個未標記的測試案例,。nnU-Net的測試集得分為89.08,，在總共290份提交中排名第11（第一名：89.59）。

　　LiTS

　　肝腫瘤分割的挑戰(zhàn)由131個訓練圖像（CT）和70個測試用例組成,。對于訓練病例,，提供了肝臟和肝臟腫瘤的分割。nnU-Net在病變和肝臟上的Dice評分分別為0.725和0.958,。通過移除最大連通前景區(qū)域以外的所有區(qū)域進行后處理將Dice得分提高到0.738和0.960,，在開放的排行榜病變分割的Dice評分達到了state of the art，并且肝臟分割在123支隊伍排名第17位（第一名：0.966）,。

　　Beyond the Cranial Vault Challenge (Abdomen)

　　這個數(shù)據(jù)集的任務是在腹部CT圖像中分割13個器官,。挑戰(zhàn)提供了30個帶標注的訓練圖像和20個測試圖像。nnU-Net 在這個數(shù)據(jù)集上達到了state of the art,，平均Dice得分為88.1％,，比第二名高出3個點（排行榜共有43個提交）。具體地,，nnU-Net在13種器官中的11種得分最高,。

　　表格2顯示了為驗證nnU-Net中的選擇而設(shè)計進行的消融研究。所有實驗均在Decathlon第一階段的代表性數(shù)據(jù)集上使用相同的數(shù)據(jù)劃分進行的。這些結(jié)果一方面表明我們應該修改使用Leaky ReLUs,，另一方面驗證了我們選擇的實例規(guī)范化,、數(shù)據(jù)增強和損失函數(shù)的效果。

　　圖2所示,。 nnU-Net設(shè)計選擇的消融實驗,。 使用訓練數(shù)據(jù)的一部分和3D U-Net對來自Decathlon的代表性數(shù)據(jù)集進行實驗。 nnU-Net的數(shù)值代表平均前景Dice分數(shù)（例如肝臟數(shù)據(jù)集的肝臟和腫瘤篩子系數(shù)的平均值）,，消融研究的值代表Dice分數(shù)百分比的變化,。

　　討論

　　我們介紹了nnU-Net，一個可以自動適應任何給定數(shù)據(jù)集而無需用戶干預的醫(yī)學分割框架,。據(jù)我們所知,，nnU-Net是第一個嘗試形式化數(shù)據(jù)集之間需要進行的必要調(diào)整的分割框架。nnU-Net在六個公開的分割挑戰(zhàn)中實現(xiàn)了最先進的性能,。這是非常了不起的,，因為nnU-Net不依賴于近年來提出的各種復雜的分割結(jié)構(gòu)，而只依賴于簡單的U-Net結(jié)構(gòu),。必須強調(diào)的是,，我們沒有在挑戰(zhàn)數(shù)據(jù)集之間手動調(diào)整超參數(shù)，所有設(shè)計選擇都是由nnU-Net自動確定的,。更令人驚訝的是,，它在一部分數(shù)據(jù)集上超過其他專門手動設(shè)計的算法。

　　nnU-Net包括一些通用的固定設(shè)計選擇,，如U-Net結(jié)構(gòu),、Dice損失、數(shù)據(jù)增強和模型集成,，以及由一組遵循我們的分割經(jīng)驗的規(guī)則確定的一些動態(tài)設(shè)計選擇,。雖然，使用此類規(guī)則可能不是解決此問題的最佳方法,。通過給定更多的數(shù)據(jù)集,，未來的工作可能會嘗試從數(shù)據(jù)集的屬性中直接學習這些規(guī)則。雖然nnU-Net的選擇可以在多個數(shù)據(jù)集中實現(xiàn)強大的分割性能,，但這并不意味著我們已找到全局最優(yōu)的配置,。

　　事實上，從表格2所示的消融實驗可以看出,， Leaky ReLU替換ReLU的選擇并沒有影響性能,，我們的數(shù)據(jù)增強方案可能并不適用于所有數(shù)據(jù)集，后處理也有待于進一步的研究,。我們在LiTS的結(jié)果表明,，正確選擇的后處理可能是有益的,。這種后處理可以通過分析訓練數(shù)據(jù)或通過基于交叉驗證結(jié)果選擇方案來自動化。這種自動化的嘗試在進行Decathlon挑戰(zhàn)賽時nnU-Net初始版本的一部分,，但后來由于不能持續(xù)改進結(jié)果而被丟棄,。

　　現(xiàn)在我們已經(jīng)建立了迄今為止最強大的U-Net baseline，我們可以系統(tǒng)地評估更先進的網(wǎng)絡設(shè)計的通用性以及相對于此處采用的普通架構(gòu)的性能提升,。因此,，nnU-Net不僅可以用作開箱即用的分割工具，還可以用作未來醫(yī)學分割相關(guān)發(fā)表論文的強大U-Net baseline和平臺,。