引入注意力機制的后交叉韌帶斷裂的智能輔助診斷

李玳 王天牧 張思 謝福貴 劉辛軍 聶振國 劉振龍

1北京大學(xué)第三醫院運動(dòng)醫學(xué)科，北京大學(xué)運動(dòng)醫學(xué)研究所，運動(dòng)醫學(xué)關(guān)節傷病北京市重點(diǎn)實(shí)驗室（北京 100191）

2清華大學(xué)機械工程系摩擦學(xué)國家重點(diǎn)實(shí)驗室（北京 100084）

3清華大學(xué)精密/超精密制造設備與控制北京市重點(diǎn)實(shí)驗室（北京 100084）

膝關(guān)節后交叉韌帶斷裂難以通過(guò)直接觀(guān)察的方式進(jìn)行快速準確診斷[1，2]。然而，基于足-膝偶聯(lián)關(guān)系，通過(guò)分析人行走過(guò)程中足底與地面作用關(guān)系，能夠間接對膝關(guān)節病變進(jìn)行評估[3-5]。通過(guò)分析步態(tài)周期內的足底壓力分布峰值，借助智能算法對步態(tài)的特征進(jìn)行提取與分析，有望實(shí)現對膝關(guān)節后交叉韌帶快速、準確的智能輔助診斷[6，7]。

足底壓力分布信息在形態(tài)上類(lèi)似于二維圖像信息，但不同于圖像分類(lèi)領(lǐng)域的圖像，由于傳感器元件尺寸限制，使用傳統的卷積神經(jīng)網(wǎng)絡(luò )很難對其中的特征進(jìn)行提取。同時(shí)，足底壓力信息圖像中存在大量“無(wú)效”的背景信息與噪音，因此，需要依賴(lài)智能算法主動(dòng)對信息進(jìn)行篩選。換而言之，所使用的智能算法需要能夠主動(dòng)地對“有效”信息進(jìn)行識別與檢測，并通過(guò)在訓練中賦予這些信息更多的權重，從而實(shí)現對整體足底壓力信息的更好處理與分類(lèi)，最終實(shí)現對后交叉韌帶斷裂的準確診斷。

深度學(xué)習作為仿生學(xué)在計算機領(lǐng)域的應用，神經(jīng)網(wǎng)絡(luò )的結構也廣泛得到了生命體的特征啟發(fā)[8]。自注意力機制是仿生學(xué)在深度學(xué)習領(lǐng)域的重點(diǎn)應用之一[9-11]。在本研究提出的Pressure Transformer網(wǎng)絡(luò )中，輸入的足底壓力信息圖像被劃分成多個(gè)小圖塊。通過(guò)使用自注意力網(wǎng)絡(luò )結構，在訓練過(guò)程中計算出每個(gè)小圖塊對最終預測結果的貢獻程度。并且，根據貢獻程度的不同，賦予貢獻程度大的圖塊更高權重，在提取有效特征的同時(shí)也避免了大量無(wú)效噪音的干擾，實(shí)現對后交叉韌帶斷裂的智能輔助診斷。本研究使用后交叉韌帶斷裂患者步行時(shí)的足底壓力信息對所提出的深度學(xué)習網(wǎng)絡(luò )模型進(jìn)行了訓練與驗證。模型在測試集上的預測準確度達到了92.02%，較傳統的卷積神經(jīng)網(wǎng)絡(luò )有顯著(zhù)提升。同時(shí)，所采用的深度學(xué)習方法經(jīng)過(guò)熱點(diǎn)圖分析，有效地提取了足底壓力信息的邊緣和重點(diǎn)區域的壓力特征信息，證明了引入自注意力機制能夠顯著(zhù)提升足底壓力信息分析的準確性，并對后交叉韌帶斷裂輔助診斷有顯著(zhù)指導意義。

隨著(zhù)5G技術(shù)的發(fā)展與數字化醫療需求的提出，基于醫學(xué)圖像學(xué)的智能診斷方法近些年來(lái)正不斷涌現[12]。足底壓力圖像信息作為一種特殊的足底生理物理信息，也能夠被處理成一類(lèi)特殊的醫學(xué)圖像。國內外學(xué)者和醫生正嘗試使用機器學(xué)習和深度學(xué)習的方式，通過(guò)對足底壓力進(jìn)行特征提取和分類(lèi)，實(shí)現對下肢疾病的智能輔助診斷[13]。在醫學(xué)圖像學(xué)領(lǐng)域的深度學(xué)習模型中，卷積神經(jīng)網(wǎng)絡(luò )（convolutional neural network，CNN）[14]是一種應用最廣泛的深度學(xué)習模型。在卷積神經(jīng)網(wǎng)絡(luò )中，通過(guò)在圖像的長(cháng)、寬維度使用滑動(dòng)的卷積核對相應位置進(jìn)行卷積處理，從而提取邊緣與輪廓信息，進(jìn)行最終分類(lèi)。卷積神經(jīng)網(wǎng)絡(luò )在圖像處理領(lǐng)域有著(zhù)較好效果，在CT 圖像診斷領(lǐng)域有著(zhù)廣泛應用[15]。部分學(xué)者也基于CNN對足底壓力信息進(jìn)行提取并研究其在疾病輔助診斷領(lǐng)域的應用。Wang等[16]基于一個(gè)完整步態(tài)過(guò)程中的最大足底壓力值信息，采用雙層卷積結構，實(shí)現了糖尿病足的分類(lèi)預測。黃紅拾等[7]基于CNN模型，在使用投票法處理的二維足底壓力信息分類(lèi)中，得到了較高的分類(lèi)精度。

然而，不同于傳統的醫學(xué)圖像，足底壓力信息圖像由于傳感器尺寸限制，其分辨率遠低于CT 與MRI 影像；
并且受到傳感器性能限制，在足底壓力信息采集過(guò)程中受到較多的噪聲干擾；
同時(shí)，由于不同測試者的足底尺寸大小分布范圍大，在實(shí)現歸一化過(guò)程后，足底壓力信息圖中會(huì )有較多無(wú)意義的白噪音區域。傳統的卷積操作將整張圖片作為感知野[17]，對上述這種低分辨率、噪音多、無(wú)效區域大的特殊圖片的信息提取能力不強。與此同時(shí)，卷積算法中的每一隱藏層中，卷積互相獨立。這意味著(zhù)卷積神經(jīng)網(wǎng)絡(luò )不能從空間中對特征進(jìn)行關(guān)聯(lián)，只能單純地提取離散的空間特征，不適應于處理這類(lèi)噪音大、分辨率低的圖像。因此，在實(shí)際的應用中單純使用CNN 網(wǎng)絡(luò )進(jìn)行預測的效率較低，準確度難以得到很大提升。

在針對足底壓力的分析與診斷過(guò)程中，一種針對足底不同區域使用機器學(xué)習如主成分分析（principle component analysis，PCA）的方法給了我們很大的啟發(fā)。Li等[18]借助足底壓力中心（centreof pressure，COP）曲線(xiàn)法和ELM 神經(jīng)網(wǎng)絡(luò )，通過(guò)分析患者足底壓力中心的變化特征，實(shí)現了步態(tài)的分類(lèi)和智能輔助診斷。Cock 等[19]基于K 聚類(lèi)將足底區域劃分為多組典型區域，根據不同區域的壓力變化特點(diǎn)提取各區域的主成分，從而實(shí)現對運動(dòng)過(guò)程中足膝負載進(jìn)行分析。Jie等[20]基于C 模糊聚類(lèi)實(shí)現了對交叉韌帶損傷的輔助診斷。上述研究分析了足底壓力中特定區域的特征，并通過(guò)提取這些特定空間位置的足底壓力特征，實(shí)現對疾病的分析與輔助診斷。在深度學(xué)習領(lǐng)域，這種關(guān)注與空間分布位置、對圖像中具體空間位置進(jìn)行特征識別的方法近些年來(lái)也成為研究熱點(diǎn)。受到仿生學(xué)啟發(fā)以及人類(lèi)在認知過(guò)程中習慣于將注意力集中在關(guān)鍵目標這一特點(diǎn)，一種名為“注意力”的機制在深度學(xué)習領(lǐng)域被提出并在自然語(yǔ)言處理、圖像識別過(guò)程中得到廣泛應用。

“注意力”機制最早被應用于自然語(yǔ)言處理，用于關(guān)聯(lián)在上下文中對語(yǔ)義影響最大的關(guān)鍵詞。隨著(zhù)計算機視覺(jué)的發(fā)展以及學(xué)者對圖片結構理解的深入，Dosovitskiy等[21]提出了ViT（vision transformer）網(wǎng)絡(luò )模型，將注意力機制引入到了圖像識別領(lǐng)域，通過(guò)將初始圖像劃分成多個(gè)16×16像素的區塊，以及位置編碼等方式，結合注意力方法，對不同位置的區塊給予不同的權重。在ViT 網(wǎng)絡(luò )中，由于對圖塊進(jìn)行了位置的編碼即空間序列化，網(wǎng)絡(luò )能夠更有效地關(guān)注圖塊間的空間位置聯(lián)系，從而能夠更好地提取全局的“上下文”特征，最終更好地實(shí)現對目標的識別與分類(lèi)。ViT 以及類(lèi)似的網(wǎng)絡(luò )已經(jīng)被廣泛應用于醫學(xué)影像學(xué)中。Valanarasu 等[22]基于ViT，提出了MedicalTransformer，用于對醫學(xué)影響進(jìn)行智能分割。Duong 等[23]利用ViT 和遷移學(xué)習，實(shí)現了基于肺部X 射線(xiàn)圖的結核病智能診斷。Park 等[24]利用ViT研究分析了肺部X射線(xiàn)圖像，實(shí)現了對Covid-19的智能診斷。

2.1 數據準備

本研究建立的Pressure Transformer 是一種監督學(xué)習模型，因此在進(jìn)行數據集準備過(guò)程中，需要由專(zhuān)業(yè)臨床醫師對所采集的足底壓力數據進(jìn)行分類(lèi)。結合臨床實(shí)際需求，本研究的數據集中包含了3 類(lèi)標簽：健康人、左側單純后交叉韌帶斷裂患者與右側單純后交叉韌帶斷裂患者。本研究中使用了footscan?公司的足底壓力測試板（RSscan公司，2×0.4 米，16384 個(gè)感受器）進(jìn)行數據采集，受試者先熱身并熟悉裸足步行程序。在采集過(guò)程中，受試者被要求以足跟部先著(zhù)地和自選適合的速度裸足行走在足底壓力測試板上。采樣率為126Hz，每個(gè)有效測試采集了至少3 個(gè)完整的步態(tài)周期。提取行走過(guò)程中足底壓力最大值作為數據集。為了避免因不同志愿者足底大小不一致導致的輸入維度差異，本研究采取ZeroPadding[25]的方式將足底壓力圖像統一拓展至寬34 像素、高48 像素的足底壓力圖像。選擇其中的90%作為參與訓練的數據集，剩余10%作為測試集。

2.2 模型設計

本研究所提出的對足底壓力數據進(jìn)行智能分類(lèi)的Pressure Transformer模型如圖1所示，輸入的足底壓力信息圖像可以被看作一個(gè)二維矩陣，其維數Diminputimg∈R48×34。首先，以Dimpatch∈R3×3為圖塊尺寸，對初始圖像進(jìn)行均勻分割，如圖2 所示，得到16×11 個(gè)二維矩陣。此時(shí)，輸入信息的維度Dimdividedimg∈R7×11×3×3。接著(zhù)，將經(jīng)過(guò)劃分的矩陣展平處理，得到展平矩陣維度Dimflatten∈R176×9。將每個(gè)圖塊的信息使用嵌入層進(jìn)行編碼，即將一個(gè)長(cháng)度為9的一維矩陣投影到一個(gè)長(cháng)度為40的一維矩陣中，此時(shí)，整體的維度Dimembedding∈R176×40。在這個(gè)過(guò)程中，圖塊的位置信息也被用于參與嵌入編碼，即最終的編碼信息除了包含圖塊本身的像素值（壓力值），也包含了圖塊在原圖中的空間位置信息。

圖1 Pressure Transformer模型結構

圖2 初始圖像分割

在經(jīng)過(guò)嵌入層編碼后，一個(gè)4層的Transformer編碼器被使用，借助注意力機制，用于提取分類(lèi)所需的壓力特征。Transformer的核心是自注意力機制，對于單頭自注意力機制，每一層的Attention函數可以被表示為：

其中dk表示了一個(gè)縮放因子。需要說(shuō)明的是，該縮放因子屬于一個(gè)訓練超參數，用于平衡隱藏層的梯度，緩解訓練過(guò)程可能出現的梯度爆炸、梯度消失。Q表示查詢(xún)向量；
K表示被查詢(xún)信息與其他信息的相關(guān)性的向量；
V表示被查詢(xún)信息的向量，均由輸入值X分別做1次線(xiàn)性變換得到：

對于一個(gè)包含了j個(gè)元素的一維向量S，其每一個(gè)元素xi的Softmax函數可以表示為：

在本研究使用的Pressure Transformer 模型中，為了從更多維度提取特征，我們采用了多頭注意力機制，如圖3所示。

圖3 多頭注意力模塊

多頭注意力算法使用了多組線(xiàn)性變化，從而得到多組Q，K，V，在進(jìn)行ScaleAttention計算后，將所得結果拼接，最終通過(guò)線(xiàn)性映射調整向量維度。對于i頭注意力，其基本表達式如下：

式中WiQ，WiK，WiV，W均表示線(xiàn)性變化。

不同于用于自然語(yǔ)言處理過(guò)程中需要使用解碼器再次將特征反編譯成語(yǔ)言序列輸出，在本研究所述算法中，僅需要對提取的特征采用分類(lèi)器進(jìn)行分類(lèi)即可完成最終目標[21]。在使用的Pressure Transformer 網(wǎng)絡(luò )中，我們使用了一個(gè)3層的多層感知機作為分類(lèi)器，并使用Softmax函數作為激活函數對最終結構進(jìn)行表示。

為了避免訓練過(guò)程中出現過(guò)擬合現象，我們在隱藏層間設置了Dropout層，用于屏蔽網(wǎng)絡(luò )中的部分神經(jīng)元。同時(shí)，我們采用了層正則化與殘差連接的方法，更好地避免了深層網(wǎng)絡(luò )可能出現的梯度消失、梯度爆炸，從而實(shí)現更為準確的分類(lèi)效果。

3.1 實(shí)驗環(huán)境

本研究所使用的Pressure Transformer 模型，使用了Tensorflow 的Keras模塊進(jìn)行編寫(xiě)，并在python3環(huán)境下編譯并運行。本研究所提出的模型使用一塊NVIDIAGeForceRTX3070進(jìn)行訓練。

3.2 實(shí)驗數據集

本研究使用的數據集包括了63名健康人、69名左側單純后交叉韌帶斷裂患者以及69 名右側單純后交叉韌帶斷裂患者的足底壓力信息，得到1208段單純左側后交叉韌帶斷裂，1096段單純右側后交叉韌帶斷裂，以及964段健康人的足底壓力數據。經(jīng)過(guò)預處理后得到的數據集的樣本信息如表1所示。本研究得到北京大學(xué)第三醫院醫學(xué)科學(xué)研究倫理委員會(huì )批準[（2017）醫倫審第（087-02）號]。

表1 訓練數據集分布

3.3 實(shí)驗參數

為了提升網(wǎng)絡(luò )的收斂速度與收斂效果，模型采用了小批量訓練[26]方法，批量的大小為16。網(wǎng)絡(luò )選擇使用Adam[27]優(yōu)化器用于參數優(yōu)化。

預設的訓練迭代次數為100。其余的網(wǎng)絡(luò )參數如表2所示。

表2 網(wǎng)絡(luò )參數設置

3.4 基準模型

考慮到CNN 是目前圖像識別領(lǐng)域的熱門(mén)應用模型，且在醫學(xué)影像學(xué)分類(lèi)應用中有著(zhù)優(yōu)秀的預測效果。因此，在本實(shí)驗中，我們使用了3層的卷積神經(jīng)網(wǎng)絡(luò )作為基準模型。在CNN 網(wǎng)絡(luò )的基準訓練過(guò)程中，分別采用了一個(gè)步態(tài)周期中足底壓力的最大值和平均值作為模型的輸入?；鶞誓Ｐ团cPressure Transformer 采用相同的硬件訓練條件。采用了相同的批量為16 的小批量訓練方法，同樣采用了Adam作為參數優(yōu)化器。

3.5 評價(jià)指標

預測準確度，特別是測試集的預測準確度，是評價(jià)一個(gè)深度神經(jīng)網(wǎng)絡(luò )效果的重要評價(jià)指標。測試集準確度能夠直觀(guān)地表達網(wǎng)絡(luò )的分類(lèi)效果，并能夠體現網(wǎng)絡(luò )的泛化性能以及后續的可遷移性。在深度學(xué)習領(lǐng)域，交叉熵[28]也是一種用于多分類(lèi)算法的損失函數。對比單純的準確度指標，交叉熵能夠更直觀(guān)地反映出預測結果的分布與真實(shí)分布的差異。

此外，當數據集本身存在較大分布偏差時(shí)，單純使用預測準確度很難對模型分類(lèi)效果進(jìn)行評價(jià)。通過(guò)列出測試集上預測結果的混淆矩陣，能直觀(guān)分辨出數據真實(shí)分布與預測分布之間的關(guān)系。同時(shí)，通過(guò)混淆矩陣，能夠得到受試者操作特征曲線(xiàn)（receiver operating characteristic curve，ROC）。ROC 反映了偽陽(yáng)性概率（false positive rate，FPR）和真陽(yáng)性概率（true positive rate，TPR）之間的數值關(guān)系。FPR/TPR值越大說(shuō)明分類(lèi)器分類(lèi)效果越好，即Pressure Transformer 神經(jīng)網(wǎng)絡(luò )模型的預測效果越準確。

3.6 模型評價(jià)

圖4展示了訓練過(guò)程中損失函數與訓練迭代次數的關(guān)系?？梢钥吹?，在大約60代發(fā)生了比較明顯的過(guò)擬合，因此實(shí)際訓練過(guò)程中選擇60 代作為迭代次數，從而更好地避免過(guò)擬合。圖5展示了模型的訓練準確度與驗證準確度隨迭代次數變化關(guān)系。訓練結果顯示，使用Pressure Transformer 模型，能夠在測試集上達到92.02%的準確度。到，Pressure Transformer 網(wǎng)絡(luò )的預測準確度（92.02%）明顯高于包含三層卷積層的CNN網(wǎng)絡(luò )（89.83%）。圖6展示了Pressure Transformer 在測試集上預測結果的混淆矩陣。通過(guò)混淆矩陣能夠得到模型的ROC。ROC與x 坐標軸圍成的面積被稱(chēng)作曲線(xiàn)下面積（area under curve，AUC），AUC值能夠對模型的分類(lèi)表現進(jìn)行評價(jià)，AUC 值越接近1，說(shuō)明分類(lèi)器的分類(lèi)效果越好。Pressure Transformer的ROC如圖7所示。本研究還計算了Pressure Transformer 和其余模型的AUC 值，如表4 所示。通過(guò)比較可以發(fā)現，Pressure Transformer 的AUC數值（0.9820）較CNN 模型（0.9218）有較大的提升。這說(shuō)明Pressure Transformer 模型的分類(lèi)表現相比于CNN模型有較大提升。

表4 各模型AUC值

圖4 訓練過(guò)程的損失函數變化

圖5 訓練過(guò)程的準確度變化

表3 各模型預測準確度

圖6 使用Pressure Transformer網(wǎng)絡(luò )進(jìn)行預測后的混淆矩陣

圖7 Pressure Transformer的ROC曲線(xiàn)

3.7 模型的解釋性分析

在PressureTransformer 中我們引入了注意力機制，它能夠在圖像分類(lèi)過(guò)程中，使模型自發(fā)關(guān)注目標圖像的重要區域。不同于CNN 將圖片全局作為感知野，Transformer 網(wǎng)絡(luò )通過(guò)分割圖塊，并對其進(jìn)行位置編碼，從而對不同位置的分割圖塊賦予不同的權重，依賴(lài)高權重圖塊特征，最終實(shí)現準確的分類(lèi)預測。梯度熱力圖能夠反映圖像的每一區域在最終分類(lèi)中的貢獻。通過(guò)繪制如圖8所示的梯度熱力圖，我們不難發(fā)現，模型的關(guān)注熱點(diǎn)主要集中在前足趾、足中后區域和跟后外側。這一特點(diǎn)與現有分析[5]相吻合。這種定位準確的特征提取進(jìn)一步提升了網(wǎng)絡(luò )學(xué)習效率，也解釋了Pressure Transformer 較CNN 對后交叉韌帶斷裂輔助診斷準確度的大幅提升。與此同時(shí)，熱力圖也能對后續足底壓力的動(dòng)力學(xué)研究進(jìn)行輔助驗證與指導。

圖8 足底壓力分布梯度熱力

本研究通過(guò)將注意力機制引入醫學(xué)影像學(xué)分析過(guò)程，通過(guò)對初始足底壓力圖像進(jìn)行圖塊劃分、位置編碼，能夠更高效地結合劃分后圖塊的空間坐標關(guān)聯(lián)，通過(guò)洞察模型本身的關(guān)注熱點(diǎn)，從而實(shí)現對特征更高效準確的提取，最終實(shí)現對后交叉韌帶斷裂的輔助智能診斷。所構建的Pressure Transformer 網(wǎng)絡(luò )經(jīng)過(guò)訓練后其模型預測分類(lèi)AUC 值達到0.9820，并在測試集上達到92.02%的預測準確度?；谧⒁饬C制的足底壓力神經(jīng)網(wǎng)絡(luò )分析模型能夠有效實(shí)現臨床環(huán)境下智能輔助診斷的功能，具備顯著(zhù)的臨床應用價(jià)值。