摘要：在女性盆底功能障礙性疾病診斷中，準(zhǔn)確分割肛提肌裂孔，具有至關(guān)重要的臨床意義。傳統(tǒng)方法依賴醫(yī)生經(jīng)驗手動分割，耗神耗力，而且可靠性往往不高。因此，應(yīng)臨床盆底超聲診斷需求，本文提出一種肛提肌裂孔智能識別方法。首先，使用自動上下文全卷積神經(jīng)網(wǎng)絡(luò)，融合肛提肌裂孔圖像與全卷積神經(jīng)網(wǎng)絡(luò)得到的概率圖，提高預(yù)測分割結(jié)果的局部空間一致性并改善分割細(xì)節(jié)，并結(jié)合活動輪廓模型，進(jìn)一步完善分割結(jié)果。實驗結(jié)果說明本文所提出的方法較現(xiàn)有方法能夠提供更精確的分割結(jié)果。

前言

    醫(yī)學(xué)影像分割決定著醫(yī)學(xué)影像在臨床診療中能否提供可靠依據(jù)的關(guān)鍵問題，近年來利用深度學(xué)習(xí)算法處理醫(yī)學(xué)影像分割問題，是人工智能的重要應(yīng)用，醫(yī)學(xué)影像分割技術(shù)也取得了顯著進(jìn)展。目前多使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)、全卷積網(wǎng)絡(luò)(FCN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)等網(wǎng)絡(luò)結(jié)構(gòu)解決醫(yī)學(xué)影像分割問題。

    女性盆底功能障礙性疾病(femalepelvicfloordysfunction,FPFD)包括盆腔器官脫垂，壓力性尿失禁、糞失禁等一系列綜合征，F(xiàn)PFD的致病因素有很多，主要原因是由妊娠及分娩引起的肛提肌損傷。盆底超聲因具有實時成像、費用低、無輻射等優(yōu)點，是盆底疾病主要的影像檢查手段[1]。臨床診斷中，醫(yī)生通常利用軌跡球手動描記肛提肌輪廓；而這往往受醫(yī)生主觀經(jīng)驗影響，且測量步驟繁瑣、耗時長、誤差大。但是實現(xiàn)肛提肌裂孔（levatorhiatus，LH）自動分割時會面臨以下幾點挑戰(zhàn)：①圖像中聲影、散斑等噪聲干擾大；②成像條件不同，圖像呈現(xiàn)不同的強度分布；③肛提肌單側(cè)或雙側(cè)損傷，影響其識別，如圖1所示。為解決這些問題，本文首次提出基于深度學(xué)習(xí)的LH自動分割方法。

    LH邊緣分割是其生物參數(shù)測量的首要條件。Sindhwani[2]提出基于水平集的半自動肛提肌輪廓描繪工具，需要手動標(biāo)記恥骨聯(lián)合后下緣點和恥骨直腸肌底部前緣點。隨著深度學(xué)習(xí)的蓬勃發(fā)展，其在醫(yī)學(xué)超聲圖像處理領(lǐng)域相比傳統(tǒng)方法能夠得到更好的性能表現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)[3]在前景分類有良好應(yīng)用，但它以圖像塊分類方式完成圖像分割，會造成分割不精細(xì)。而全卷積神經(jīng)網(wǎng)絡(luò)[4]通過融合多視覺尺度信息，能夠?qū)崿F(xiàn)像素級的分割。但當(dāng)前流行的自然圖像網(wǎng)絡(luò)往往超出了醫(yī)學(xué)圖像領(lǐng)域所需的模型復(fù)雜性，所以應(yīng)LH超聲圖像分割要求，提出一種自動上下文全卷積神經(jīng)網(wǎng)絡(luò)(Auto-ContextFullyConvolutionalNetworks，AC-FCN)，通過融合LH超聲圖像與FCN得到的概率圖的方式，提高預(yù)測圖的局部空間一致性并改善分割細(xì)節(jié)[6]；針對分割結(jié)果中局部缺失問題，采用活動輪廓模型(ActiveShapeModel，ASM)[7]，通過形狀約束方式提升LH分割效果。

    綜上所述，本文提出的基于深度學(xué)習(xí)的肛提肌裂孔智能識別方法，具有以下幾個創(chuàng)新點：①相比傳統(tǒng)的FCN網(wǎng)絡(luò)，AC-FCN對LH的分割任務(wù)有更好的性能表現(xiàn)，能夠更加準(zhǔn)確快速地識別LH；②AC-FCN融合了不同尺寸不同層次的特征，成功解決傳統(tǒng)FCN分割結(jié)果細(xì)節(jié)粗糙的問題；③基于前兩步的分割結(jié)果以及LH形狀特點，利用ASM進(jìn)行形狀約束，再次提高LH的分割效果；④將當(dāng)前研究領(lǐng)域較流行的深度學(xué)習(xí)方法與傳統(tǒng)方法結(jié)合，借助深度學(xué)習(xí)網(wǎng)絡(luò)提取圖像中深層次的豐富的特征信息，獲得初步分割結(jié)果，在此基礎(chǔ)上，有機結(jié)合傳統(tǒng)方法不斷優(yōu)化實驗結(jié)果，構(gòu)建出性能更好的研究框架。

圖1盆底超聲圖像（左）及其分割結(jié)果（右），紅色輪廓表示手動描繪的LH邊界，黃色和綠色箭頭分別表示由超聲特點和肛提肌損傷引起的邊界缺失

方法

    本文提出的基于深度學(xué)習(xí)的LH智能識別方法，研究框架如圖2所示，主要包括以下三點：首先，將預(yù)處理得到LH超聲圖像和對應(yīng)的標(biāo)簽輸入到第0級分類器(Level0—AC-FCN)，以遷移學(xué)習(xí)方式提取多尺度視覺特征，獲得肛提肌裂孔預(yù)測圖；之后將AC-FCN嵌入到自動上下文模型中，把第0級獲取的概率圖與LH超聲圖像進(jìn)行多通道融合后輸入到第1級分類器(Level1—AC-FCN)，得到新的預(yù)測圖，與LH圖像融合后輸入第2級分類器，以此類推，不斷迭代直到獲得較好的分割結(jié)果；最后，利用ASM引入曲線形狀、圖像中的位置、邊界處的連續(xù)性等約束條件，對最后一次自動上下文模型得到的預(yù)測概率圖進(jìn)行形狀優(yōu)化，輸出最終的分割結(jié)果。

圖2本文提出的框架圖

2.1調(diào)整后的全卷積網(wǎng)絡(luò)

    Long等[4]提出全卷積神經(jīng)網(wǎng)絡(luò)(FCN)，以端到端、點到點的方式對任意尺寸的輸入圖像完成像素級分割。最有效的FCN模型是FCN-8s，本文以FCN-8s為基礎(chǔ)提出LH超聲圖像目標(biāo)與背景區(qū)域分類器AC-FCN，主要進(jìn)行如下調(diào)整：①刪除FCN8s中最后兩層卷積層降低模型復(fù)雜度，避免過擬合，縮短了訓(xùn)練時間；②添加融合層，將第五池化層和第四池化層得到的特征圖融合，強化特征學(xué)習(xí)，將第一個卷積層的填充參數(shù)設(shè)為1。首先，神經(jīng)網(wǎng)絡(luò)卷積層輸入輸出特征圖尺寸計算公式如下：

   (1)

    其中，F(xiàn)_i為輸入特征圖的空間尺寸，F(xiàn)₀為輸出特征圖尺寸，K即為核函數(shù)尺寸，S為步幅，P是填充參數(shù)，通常用零擴充圖像的邊緣。在AC-FCN中，刪掉FCN-8s最后兩層卷積后，當(dāng)卷積層中核函數(shù)K=3、步幅S=1時，P=1，F(xiàn)₀始終等于F_i，不存在邊緣丟失的問題，所以前后層信息融合時就無需使用裁剪層裁剪特征圖。

2.2自動上下文模型細(xì)化分割結(jié)果

    AC-FCN雖然能更高效輸出目標(biāo)區(qū)域的預(yù)測概率圖，但仍存在兩大問題：①對圖像中的細(xì)節(jié)不敏感，所得結(jié)果不夠精細(xì)；②FCN對各個像素分類時，沒有充分考慮像素之間的關(guān)系，忽略了基于像素分類中通常使用的空間規(guī)整步驟，缺乏空間一致性。為了解決上述問題，使用自動上下文模型對AC-FCN結(jié)果進(jìn)行優(yōu)化[8]。

    自動上下文模型核心思想是第k級分類器同時利用灰度圖像的外觀特征和第k-1級分類器獲取的預(yù)測概率圖的上下文特征，第k-1級的分類器包含感興趣目標(biāo)的基本形狀、前景、背景的輪廓分割等有價值的信息，通過上下文特征與灰度特征的聯(lián)合，得到比k-1級分類器更有效的特征描述，實現(xiàn)預(yù)測圖的概率精細(xì)化。

(2)

    其中，h^k是第k級分類器的模型映射函數(shù)，x、y^k-1分別是肛提肌圖像和第k-1級分類器輸出的概率圖，J(.)是將x、y^k-1結(jié)合的并行級聯(lián)間操作。本文將一張肛提肌圖像和k-1分類器獲取的概率圖聯(lián)合成三通道圖像，作為k級分類器的輸入，對AC-FCN預(yù)測圖實現(xiàn)輪廓細(xì)化和空間一致性優(yōu)化。

2.3活動輪廓模型優(yōu)化

    雖然本文中級聯(lián)的多尺度AC-FCN對邊界缺失情況仍有強大的恢復(fù)能力，但目前還沒有理論保證能夠以絕對相近的形式恢復(fù)所有缺失的邊界，所以，在最后一層上下文后，我們應(yīng)用一個輔助ASM模型[9]在預(yù)測概率圖上生成最終的分割結(jié)果。采用交叉驗證的方式，將372張LH分成12個子集，取11個子集作為訓(xùn)練集，1個子集作為驗證集，每張圖上有12個主特征點和位于主特征點之間的60個次特征點，將樣本數(shù)據(jù)及特征點輸入ASM中統(tǒng)計LH形狀分布信息，構(gòu)建完成形狀模型。因為模糊和大跨度的閉塞邊界已經(jīng)被AC-FCN級聯(lián)識別，只有少量缺口有待ASM補全和完善。實驗結(jié)果表明，ASM能有效實現(xiàn)對LH的形狀約束，完善分割結(jié)果，為LH參數(shù)的精準(zhǔn)測量提供有力支持。

實驗結(jié)果

    為更全面準(zhǔn)確地評估分割結(jié)果，參考文獻(xiàn)[10-12]，本文采用區(qū)域和形狀相似度兩類評價指標(biāo)，即Dice、Jaccard、ConformityCoefficient(Cc)、AverageDistanceofBoundaries(Adb)四種指標(biāo)來評估LH分割結(jié)果。其中，前兩種是基于區(qū)域的評價指標(biāo)，后兩種是基于距離的評價指標(biāo)。設(shè)G為醫(yī)生標(biāo)記的目標(biāo)區(qū)域，S為算法分割結(jié)果，評價指標(biāo)計算公式如下：

其中，s(.)表示面積計算符，d_min(P_G,S)表示G上的點P_G到S上最近點的距離，同樣地，表示S上的點P_S到

上最近點的距離，σ _G代表輪廓上點的個數(shù)。

    依據(jù)上述指標(biāo)對本文的研究框架AC-FCN以及分割領(lǐng)域較流行的深度學(xué)習(xí)網(wǎng)絡(luò)在測試數(shù)據(jù)上進(jìn)行分割性能的評估與比較，如表1所示。由評估結(jié)果可得，AC-FCN模型作為本文框架的核心算法，其性能相比其他網(wǎng)絡(luò)在所有指標(biāo)上都更勝一籌。Level0-AC-FCN已經(jīng)優(yōu)于其他模型，嵌入上下文模型后，分割效果逐步提升，同時為了避免可能的過擬合問題，使用Level2-AC-FCN就可以得到令人滿意的結(jié)果，通過ASM約束LH形狀繼續(xù)優(yōu)化分割結(jié)果。

    圖3顯示了通過不同分割方法獲的結(jié)果，以及通過Level2-AC-FCN獲得精確預(yù)測圖。因為CNN和U-net分割性能較差，僅展示了SegNet，F(xiàn)CN-8s，Level2-AC-FCN,Level2-AC-FCN-ASM預(yù)測分割結(jié)果以及實際LH邊界。如圖3所示，Level2-AC-FCN-ASM分割結(jié)果與實際LH邊界最接近。

表1不同分割方法比較

    圖3不同方法的定性分割比較，第一行：由Level2-AC-FCN獲得的精確預(yù)測圖。第二行：SegNet（黃色），F(xiàn)CN-8（青色），Level2-AC-FCN（藍(lán)色），Level2-AC-FCN-ASM（綠色）的預(yù)測分割結(jié)果和實際LH（紅色）的邊界

實驗結(jié)論

    本文提出了一種以AC-FCN為核心的LH智能識別的研究框架，并取得了較好的結(jié)果。首先，通過調(diào)整FCN-8s獲得一個很好的基礎(chǔ)模型，提升分割精度的同時降低了模型復(fù)雜度、提高訓(xùn)練效率、減少內(nèi)存占用；將調(diào)整后FCN嵌入到一個自動上下文模型中，通過級聯(lián)LH超聲圖像與預(yù)測概率圖的信息增強邊界細(xì)節(jié)，使得分類器性能有顯著提升；將自動上下文模型得到的概率圖，輸入到ASM完成形狀約束，很好地解決了LH邊緣缺失的問題，且分割框架亦適用于其他超聲圖像的任務(wù)。

參考文獻(xiàn)

[1]Y.Tao,L.Qin,X.Lian,F.Liu,andH.Bing,"Three-dimensionalUltrasoundAppearanceofPelvicFloorinNulliparousWomenandPelvicOrganProlapseWomen,"[j].InternationalJournalofMedicalSciences,2012,vol.9,pp.894-900.

[2]N.Sindhwani,D.Barbosa,M.Alessandrini,etal.,"Semi‐automaticoutliningoflevatorhiatus,"[J].UltrasoundinObstetrics&GynecologytheOfficialJournaloftheInternationalSocietyofUltrasoundinObstetrics&Gynecology,2016,vol.48,p.98.

[3]A.Krizhevsky,I.Sutskever,andG.E.Hinton,"ImageNetclassificationwithdeepconvolutionalneuralnetworks,"[A].inInternationalConferenceonNeuralInformationProcessingSystems,2012,pp.1097-1105.

[4]J.Long,E.Shelhamer,andT.Darrell,"Fullyconvolutionalnetworksforsemanticsegmentation,"[A].inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2015,pp.3431-3440.

[5]H.Chen,Y.Zheng,J.H.Park,etal.,"IterativeMulti-domainRegularizedDeepLearningforAnatomicalStructureDetectionandSegmentationfromUltrasoundImages,"[A].inInternationalConferenceonMedicalImageComputingandComputer-AssistedIntervention,2016,pp.487-495.

[6]Z.Tu,"Auto-Contextanditsapplicationtohigh-levelvisiontasks,"[A].inComputerVisionandPatternRecognition,2008.CVPR2008.IEEEConferenceon,2008,pp.1-8.

[7]T.F.Cootes,C.J.Taylor,D.H.Cooper,etal.,"Activeshapemodels-theirtrainingandapplication,"[J].Computervisionandimageunderstanding,1995,vol.61,pp.38-59.

[8]Y.Gao,L.Wang,Y.Shao,etal.,"LearningDistanceTransformforBoundaryDetectionandDeformableSegmentationinCTProstateImages,"[A].inInternationalWorkshoponMachineLearninginMedicalImaging,2014,pp.93-100.

[9]B.VanGinneken,A.F.Frangi,J.J.Staal,etal.,"Activeshapemodelsegmentationwithoptimalfeatures,"[J].IEEEtransactionsonmedicalimaging,2002,vol.21,pp.924-933.

[10]Q.HuangandB.Dom,"Quantitativemethodsofevaluatingimagesegmentation,"[A].inInternationalConferenceonImageProcessing,1995.Proceedings,1995,pp.53-56vol.3.

[11]A.A.TahaandA.Hanbury,"Metricsforevaluating3Dmedicalimagesegmentation:analysis,selection,andtool,"[J].BmcMedicalImaging,2015,vol.15,p.29.

[12]H.H.Chang,A.H.Zhuang,D.J.Valentino,etal.,"Performancemeasurecharacterizationforevaluatingneuroimagesegmentationalgorithms,"[J].Neuroimage,2009,vol.47,pp.122-135.