基于雙注意力深度學(xué)習的在線(xiàn)資源推薦

李會(huì )芬,焦小剛,黃麗霞

(1.寧夏工商職業(yè)技術(shù)學(xué)院 信息技術(shù)學(xué)院,寧夏 銀川 750021;2.同濟大學(xué) 軟件學(xué)院,上海 200092) 3.寧夏大學(xué) 信息工程學(xué)院,寧夏 銀川 750021;4.北方民族大學(xué) 商學(xué)院,寧夏 銀川 750021)

互聯(lián)網(wǎng)資源量與用戶(hù)量均在與日俱增。用戶(hù)從海量數據中獲取個(gè)性化數據的難度明顯提升,這將極大降低用戶(hù)獲取在線(xiàn)有價(jià)值資源的體驗感。例如,學(xué)生在教學(xué)資源平臺中,需要花費大量的時(shí)間才能搜索到符合自己需求的在線(xiàn)課程。當前多個(gè)行業(yè)的服務(wù)平臺都給用戶(hù)提供了匹配度較高的個(gè)性化推薦服務(wù)。根據在線(xiàn)資源特征和用戶(hù)特征,通過(guò)對比同類(lèi)型和同維度的特征距離[1],可以為用戶(hù)推薦與用戶(hù)特征更相近的資源。

當前,關(guān)于在線(xiàn)資源推薦的研究較多。覃忠臺等[2]采用協(xié)同過(guò)濾進(jìn)行資源和用戶(hù)特征配對而完成推薦。宋菲菲等[3]采用廣義回歸神經(jīng)網(wǎng)絡(luò )進(jìn)行智能學(xué)習資源推薦。兩者均建立了完整的在線(xiàn)資源推薦模型,但是參與推薦計算的特征量較少,導致資源推薦準確率不是特別高。雖然在線(xiàn)資源推薦的技術(shù)路線(xiàn)并不復雜,但是由于資源及用戶(hù)特征的復雜度及異構性,在特征距離比較時(shí)仍會(huì )出現特征匹配度不高,或者兩者特征難以轉換到同等維度的問(wèn)題。因此,找到合適的特征提取及特征比較算法非常關(guān)鍵。

為了解決上述問(wèn)題,本文采用雙注意力機制來(lái)實(shí)現資源特征和用戶(hù)特征的提取,并將深度學(xué)習CNN用于資源和用戶(hù)特征的分類(lèi)。通過(guò)雙注意力機制的特征挖掘與提取,能夠有效提高卷積神經(jīng)網(wǎng)絡(luò )(Convutional neural network,CNN)算法的在線(xiàn)推薦性能。深度學(xué)習算法能夠較好實(shí)現復雜多維特征分類(lèi),并且能夠適應大規模樣本特征分析。而注意力機制在樣本特征提取及分析中優(yōu)勢明顯,兩者對在線(xiàn)資源推薦具備較高的適用性。

1.1 通道注意力機制

通道注意力本質(zhì)是對同一個(gè)輸入特征A分別進(jìn)行重構和變換[4]。這種重構和變換的操作在結構圖中被稱(chēng)為通道操作。通過(guò)不同通道的特征提取與矩陣相乘,經(jīng)過(guò)加權求和操作之后完成特征提取,從而獲得輸出特征E,其主要結構如圖1所示。

圖1 通道注意力機制結構

設通道總數為C,xji表示第j和第i個(gè)通道的相關(guān)性,其計算方法[5]為

(1)

計算所有通道的xji,然后構建矩陣X,最后得到輸出[6]為

(2)

式中：α表示權重常量。

1.2 空間注意力機制

空間注意力本質(zhì)是對同一個(gè)樣本的不同位置的輸入特征A分別進(jìn)行不同規格的卷積運算,從而獲得新的輸入特征B、C和D[7]。通過(guò)對樣本不同位置的相關(guān)性分析,然后進(jìn)行特征提取與矩陣相乘。經(jīng)過(guò)加權求和操作之后完成特征提取,從而獲得輸出特征E,主要結構如圖2所示。

圖2 空間注意力機制結構

圖3 基于雙注意力CNN的在線(xiàn)資源推薦流程

設經(jīng)過(guò)卷積運算的次數為N,yji表示第j和第i個(gè)空間位置的相關(guān)性,其計算方法[8]為

(3)

計算所有通道的yji,然后構建矩陣Y,最后得到輸出[9]為

(4)

式中：β表示權重常量。

2.1 卷積神經(jīng)網(wǎng)絡(luò )

設輸入集X=(x1,x2,…xn),n為樣本量,m為特征總量,第j個(gè)樣本特征經(jīng)過(guò)第l層卷積計算得[10]

(5)

式中：klj和bl,j分別是樣本j和第l層的連接權重及偏置,*是卷積運算。

映射函數f(·)為

(6)

設定卷積核大小為h×w,池化方法參照式(7)的均值池化或式(8)的最大值池化[11]

(7)

(8)

令M=n/(h×w),那么輸入集X=(x1,x2,…,xn)經(jīng)過(guò)卷積與池化后變?yōu)閄′=(x1,x2,…,xM)。

將X′進(jìn)行映射轉換得到

(9)

式中：∑aij=1,0≤aij≤1。

將式(9)獲得的結果輸入分類(lèi)器進(jìn)行類(lèi)別預測。

設輸入樣本xk的CNN輸出和實(shí)際值分別為yk和dk,則誤差δk為

δk=(dk-yk)yk(1-yk)

(10)

設第l和l+1層節點(diǎn)數為L(cháng)和M,則l層神經(jīng)元j的δj為

(11)

式中：hj是輸出值,Wjk是節點(diǎn)j和l+1層節點(diǎn)k的連接權值。

權重與偏置的更新方式[12]是

(12)

(13)

式中：α和η為常量,一般0<η<0.2,α=1。

根據式(12)和(13),獲得新的權重和偏置分別為

wjk(n+1)=wjk(n)+Δwjk(n)

(14)

bk(n+1)=bk(n)+Δbk(n)

(15)

CNN在迭代時(shí),以所有節點(diǎn)的誤差和作為判定條件,從而得到最終CNN穩定結構模型,誤差和ζ計算方式[13]是

(16)

2.2 基于雙注意力CNN的在線(xiàn)資源推薦流程

在獲得在線(xiàn)資源樣本之后,首先采用雙注意力機制進(jìn)行樣本特征提取。通過(guò)對在線(xiàn)資源和在線(xiàn)用戶(hù)的雙注意力鎖定,選擇更有效的資源-用戶(hù)特征進(jìn)行深度學(xué)習分析。接著(zhù),構建基于CNN的在線(xiàn)資源推薦模型,并以用戶(hù)-資源最小特征差為損失函數。將經(jīng)過(guò)雙注意力機制獲得的樣本特征輸入CNN網(wǎng)絡(luò )進(jìn)行訓練,最終獲得符合用戶(hù)需求的推薦結果。

為了充分驗證雙注意力機制CNN算法在資源推薦中的性能,進(jìn)行實(shí)例仿真,數據集源自騰訊在線(xiàn)教育平臺(ke.qq.com)、學(xué)堂在線(xiàn)課程學(xué)習平臺(www.xuetangx.com)等,具體如表1所示。為了全面驗證雙注意力機制CNN算法的在線(xiàn)資源推薦性能,首先分別采用CNN、通道注意力CNN、空間注意力CNN和雙注意力機制CNN算法進(jìn)行推薦性能仿真,驗證注意力機制對在線(xiàn)資源推薦性能的影響,其次采用常用資源推薦算法和雙注意力CNN算法進(jìn)行實(shí)例仿真。

3.1 注意力機制的優(yōu)化效果分析

為了驗證注意力機制對CNN算法在線(xiàn)資源推薦性能的影響,分別采用CNN、通道注意力CNN、空間注意力CNN和雙注意力CNN算法對表1中的4類(lèi)樣本進(jìn)行資源推薦仿真。

3.1.1 特征差異值性能

特征差異值是資源推薦的重要數據佐證,是候選推薦資源列表生成的數據支持。分別采用4種算法對資源和用戶(hù)的特征差異值進(jìn)行性能比較。

從表2得,對于4類(lèi)樣本集,基于雙注意力的CNN資源推薦算法的特征差異均值明顯(小于)優(yōu)于其他3種算法。由于沒(méi)有使用注意力機制進(jìn)行特征提取,原始CNN算法的特征差異均值最大,因此基于CNN算法的資源推薦準確率會(huì )受到較大影響?？v向比較發(fā)現,在學(xué)堂在線(xiàn)樣本集中,4種算法獲得了最小特征差異均值,而騰訊在線(xiàn)樣本集中,4種算法的特征差異均值最大,這可能是由于不同樣本集之間在資源數量和特征復雜度的等方面存在一定差異造成的。

表2 4種算法的特征差異均值

表3 4種推薦算法的準確率

3.1.2 推薦準確率及RMSE

分別采用4種算法對表1中的4類(lèi)樣本進(jìn)行資源推薦仿真,驗證其推薦準確率及均方根誤差(Root mean squared error,RMSE)性能。

從圖4得,對于4類(lèi)樣本集的推薦準確率,雙注意力CNN算法最高,均在0.9以上,而通道和空間注意力CNN在騰訊在線(xiàn)和學(xué)堂在線(xiàn)中較接近,CNN算法最差,均在0.84以下。下面比較4種算法的RMSE性能,仿真結果如表4。

圖4 4種算法推薦準確率

表4 4種推薦算法的RMSE值

從圖5得,相比于其他3種算法,基于雙注意力CNN推薦算法在RMSE性能方面具有絕對優(yōu)勢,4類(lèi)集的RMSE值均在0.15以下,CNN算法RMSE性能最差,通道注意力CNN和空間注意力CNN性能相近,圍繞這1.17左右震蕩,在騰訊在線(xiàn)和學(xué)堂在線(xiàn)中空間注意力CNN表現更優(yōu),而在網(wǎng)易云課堂和51CTO學(xué)院集上通道注意力表現更佳。

圖5 4種算法RMSE

綜合而言,相比于CNN推薦算法,采用注意力機制進(jìn)行資源和用戶(hù)特征提取后,對CNN在線(xiàn)資源推薦準確度影響顯著(zhù),這主要是因為在線(xiàn)資源特征和用戶(hù)特征變化頻率快而不容易實(shí)現精準資源推薦的緣故,引入雙注意力機制后,能夠較好地捕捉到資源和用戶(hù)特征的快速變化。

3.2 不同算法的推薦性能

為了進(jìn)一步驗證雙注意力機制CNN算法在資源推薦中的性能,分別采用協(xié)同過(guò)濾[14]、深度神經(jīng)網(wǎng)絡(luò )(Deep neural network,DNN)[15]、循環(huán)神經(jīng)網(wǎng)絡(luò )(Recurrent neural network,RNN)[16]和雙注意力CNN算法對表1中4類(lèi)樣本進(jìn)行仿真。

從表3得,在4類(lèi)集的推薦準確率方面,雙注意力CNN算法最高,DNN和RNN相近,協(xié)同過(guò)濾最差,這表明了深度學(xué)習算法對4類(lèi)樣本集的資源推薦適應度更高,而采用了雙注意力機制的特征提取后,CNN算法的推薦準確率超越了DNN和RNN,這說(shuō)明雙注意力機制比較適合資源和用戶(hù)特征的挖掘與提取。

從表4得,在4類(lèi)集的推薦RMSE性能上,雙注意力CNN算法最優(yōu),DNN和RNN相近,協(xié)同過(guò)濾最差,這表明了深度學(xué)習算法增強了4類(lèi)樣本集的資源推薦穩定性,而采用了雙注意力機制的特征提取后,CNN算法的推薦穩定性遠超過(guò)DNN和RNN,這說(shuō)明有效地資源和用戶(hù)特征提取對深度學(xué)習算法的分類(lèi)穩定性提升明顯。

從圖6得,雙注意力CNN算法在4類(lèi)樣本集訓練時(shí)獲得了最高召回率,協(xié)同過(guò)濾最差,在網(wǎng)易云課堂集推薦時(shí),DNN超過(guò)了RNN,而其他3類(lèi)樣本集,RNN均略?xún)?yōu)于DNN,這說(shuō)明雙注意力CNN算法能夠匹配到更多適合于用戶(hù)的資源。從推薦效率方面來(lái)看,3種深度學(xué)習算法不如協(xié)同過(guò)濾,這主要是3種深度學(xué)習算法的網(wǎng)絡(luò )參數求解需要消耗較多時(shí)間。

圖6 4種算法的推薦召回率

本文采用深度卷積神經(jīng)網(wǎng)絡(luò )進(jìn)行資源推薦,同時(shí)對資源-用戶(hù)特征進(jìn)行雙注意力機制特征提取,以進(jìn)一步提高推薦精準度。對資源-用戶(hù)特征進(jìn)行編碼并初始化,并分別進(jìn)行通道注意力機制運算和空間注意力機制運算。將兩個(gè)注意力機制的運算結果加權求和得到新的用戶(hù)-資源特征。相比常用資源推薦算法,雙注意力CNN算法表現出更優(yōu)的推薦準確率和穩定性。后續研究將進(jìn)一步差異化設置雙注意力機制的卷積核尺寸等參數,提高在線(xiàn)推薦效率,從而進(jìn)一步增強雙注意力機制CNN算法在在線(xiàn)資源推薦中的適用性。