摘   要: 基于對無標(biāo)記數(shù)據(jù)算法的研究，討論了基因數(shù)據(jù)分析的半監(jiān)督學(xué)習(xí)算法,?；驍?shù)據(jù)的典型特征是小樣本,、高維數(shù)，處理起來非常困難,。在安全的半監(jiān)督學(xué)習(xí)基礎(chǔ)上,，提出了一種降維和半監(jiān)督學(xué)習(xí)相結(jié)合的方法,以提高分類效果的精確度及魯棒性。實驗證明,該方法通過結(jié)合降維和半監(jiān)督學(xué)習(xí)的優(yōu)點,，具有很好的應(yīng)用價值,。

　　關(guān)鍵詞: 半監(jiān)督學(xué)習(xí)；基因表達(dá)數(shù)據(jù),；特征提取,；支持向量機

　　基因芯片技術(shù)可以一次性對大量基因序列進(jìn)行檢測和分析，從而得到高維的基因表達(dá)數(shù)據(jù),，因此在病理研究和臨床應(yīng)用等領(lǐng)域備受關(guān)注[1-2],。基因表達(dá)數(shù)據(jù)中基因的數(shù)目巨大,，大部分都無法為樣本的區(qū)分提供有用信息,，因此識別出一小部分能提供足夠有用信息的基因并實現(xiàn)很好的分類至關(guān)重要，這一小部分有效基因被稱為分類特征基因,。特征基因選擇通常由去除分類無關(guān)基因和去除冗余基因兩部分組成,。GOLUB T R等人提出的特征記分準(zhǔn)則FSC(Feature Score Criterion)用于去除分類無關(guān)基因[3]。李穎新等人[4]認(rèn)為應(yīng)該在此基礎(chǔ)上考慮方差對樣本分類的影響,，利用方差不同對樣本分類的貢獻(xiàn)不同,，從而更客觀地評價基因包含的分類信息量，提出了修訂的特征記分準(zhǔn)則RFSC(Revised Feature Score Criterion),。關(guān)于特征基因的選擇研究有過濾法,、纏繞法、混合方法等[5-6],。特征基因選擇之后,，選出的剩余基因可以看作與疾病相關(guān)。因為利用基因數(shù)據(jù)的高維數(shù)和高噪音進(jìn)行特征提取是必要的途徑,。本文結(jié)合降維技術(shù)方法給出新的特征提取方法,。提取特征后，樣本的分類又顯得尤為重要,，一個好的分類器能夠更準(zhǔn)確,、更有效地區(qū)分正常樣本，從而為臨床醫(yī)學(xué)提供參照,。半監(jiān)督學(xué)習(xí)(Semi-supervised Learning)是目前比較有效的分類方法[7],它主要考慮如何利用少量的標(biāo)注樣本和大量的未標(biāo)注樣本進(jìn)行訓(xùn)練和分類的問題,。本文提出的降維和半監(jiān)督學(xué)習(xí)方法能夠更好地利用數(shù)據(jù)的隱含信息，更好地實現(xiàn)分類預(yù)測效果,。

　　1 數(shù)據(jù)描述及標(biāo)準(zhǔn)化

　　1.1 基因表達(dá)數(shù)據(jù)

　　基因表達(dá)譜數(shù)據(jù)可以表述為：

　　M=x11  x12  …   x1n  c1x21  x22  …   x2n  c2           ?塤xm1 xm2  …  xmn  cm   (1)

　　腫瘤基因表達(dá)譜M中共有m個樣本,、n個基因,。xij代表第i個樣本的第j個基因表達(dá)值； ci代表樣本所屬類別,。gi為第i個基因所有樣本的表達(dá)值,，簡稱為基因gi：

　　gi=x1ix2ixmi   (2)

　　基因表達(dá)譜最顯著特點是樣本少、維數(shù)高,，即m<<n[2]。

　　1.2 基因表達(dá)數(shù)據(jù)標(biāo)準(zhǔn)化

　　對基因表達(dá)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的方法主要有兩種：(1) 限制每個基因的均值為0,方差為1,；(2)限制每個基因的值在[0,1]范圍內(nèi),。

　　本文采用限制每個基因的值在[0,1]范圍內(nèi)的標(biāo)準(zhǔn)化方法：

　　xij*=(xij-xj-max-xj-min)

　　其中，xij為式(1)中所示的基因表達(dá)矩陣M中第i個樣本的第j個基因,xj-max為第j列基因的最大值,xj-min為第j列基因的最小值,xij*為標(biāo)準(zhǔn)化后的新值,。

　　2 數(shù)據(jù)處理的相關(guān)理論方法

　　2.1 IRFSC特征計分準(zhǔn)則

　　由于相關(guān)組織的某些基因發(fā)生了突變,，而突變基因的表達(dá)水平與正常基因的表達(dá)水平不一樣,，因此,，需要找出突變基因。原則是：將患病和正常樣本兩類中具有顯著差異的基因子集保留,，其余視為無關(guān)基因去除,。通常是按照某種記分準(zhǔn)則對每一個基因進(jìn)行記分[6]，分值越大說明該基因的正常樣本和腫瘤樣本差異越大,、基因含有的分類信息就越多,。因此按基因分值大小降序排列，排在前面一定數(shù)量的基因作為候選基因,，其余基因作為無關(guān)基因去除,。參考文獻(xiàn)[5]中對GOLUB T R等人提出的FSC進(jìn)行改進(jìn)后為：

　　若基因表達(dá)譜中只有正常樣本和腫瘤樣本兩類，則表示基因gi中正常樣本的均值,，表示gi中腫瘤樣本的均值,；表示gi中正常樣本的標(biāo)準(zhǔn)差，表示gi中腫瘤樣本的標(biāo)準(zhǔn)差,?？紤]到樣本數(shù)目m和基因數(shù)目n之間的大小關(guān)系m<<n[2]，由于n/m的比值越大,，對方差的影響也越大,，給出式(3)的改進(jìn)形式：

　　2.2 降維方法

　　2.2.1 主成分分析

　　主成分分析PCA(Principal Component Analysis)算法是一個經(jīng)典的統(tǒng)計技術(shù)，把數(shù)據(jù)從高維的空間中映射到低維的空間并保留主要的信息[8],。在新的坐標(biāo)系下,，變換數(shù)據(jù)點的方差沿新的坐標(biāo)軸得到了最大化，這些坐標(biāo)軸經(jīng)常被稱為主成分,。PCA的主要運算步驟如下：

　　2.2.2 局部保持投影

　　局部保持投影LPP(Locality Preserving Projection)是一種線形的降維算法[9],。LPP的目的是保持局部的結(jié)構(gòu)信息,，所以在低維空間的近鄰搜索與高維空間產(chǎn)生類似的結(jié)果。LPP是線性的,，這使得LPP處理速度很快,，并且很適合于實際的應(yīng)用,這也是LPP優(yōu)于LLE的地方。降維后產(chǎn)生的變換矩陣可以直接應(yīng)用在測試集上,，所以,，其擁有樣本外點學(xué)習(xí)能力。

　　LPP的算法如下：

　　(1)PCA投影,。通過保留主要成分,，將數(shù)據(jù)集投影到子空間。

　　(2)構(gòu)建鄰近圖,。如果樣本點Xi和樣本點Xj是近鄰點,，則可以在Xi和Xj之間建立一條邊。建立的近鄰圖是局部流形結(jié)構(gòu)的近似,，常采用K近鄰方法,。

　　(3)如果樣本點i和j相連，則設(shè)置權(quán)重W=e,，其中t是一個合適的常數(shù),；否則W=0。

　　其中,L=D-W,而對角矩陣D的對角線元素Dii=Wij,。

　　(4)本征映射,。計算特征值分解問題：XLXT?琢=?姿XXT?琢求解廣義特征方程的d個最小特征值對應(yīng)的特征向量作為d個投影向量。故由上述特征方程的d個最小特征值?姿1,?姿2,…,?姿d對應(yīng)特征向量?琢1,?琢2,…,?琢d,，構(gòu)成保持近鄰重建特性的線性變換矩陣,。

　　2.3 支持向量機

　　支持向量機SVM(Support Vector Machines)是由VAPNIK提出的一種新的機器學(xué)習(xí)方法[10]，它基于VC維和結(jié)構(gòu)風(fēng)險最小化理論 (SRM),，在很大程度上解決了傳統(tǒng)機器學(xué)習(xí)中的維數(shù)災(zāi)難及局部極小等問題,。由于其完整的理論框架和在實際應(yīng)用中取得了很多好的效果，在機器學(xué)習(xí)領(lǐng)域受到了廣泛的重視,，圖1給出了SVM分類的示意圖,。

　　當(dāng)給定的訓(xùn)練樣本集為{xi,yi},其中i=1,…,N，相應(yīng)的類標(biāo)簽為yi={-1,+1},。在線性可分的情況下,SVM 能找到一個能使兩類樣本集分類間隔最大的最優(yōu)超平面,。這等價于解決下面的規(guī)劃問題：

　　由于支持向量機是利用有效的少量樣本去構(gòu)建超平面來預(yù)測測試樣本，支持向量的選擇對分類器的精度影響很大,。對大量的數(shù)據(jù)樣本進(jìn)行處理,，分類器的精度變化不會很大；但是對于少量的樣本進(jìn)行處理,，分類器精度的變化會非常明顯,尤其是遇到高維小樣本問題,。分類器的精度如果變化很大,，就在實際應(yīng)用中就會帶來意想不到的后果。鑒于基因數(shù)據(jù)的特點(高維數(shù)和高噪音),，把最新的支持向量機S4VM應(yīng)用到本文的算法中,。S4VM是對S3VM的改進(jìn)，后者主要關(guān)注一個最優(yōu)的低密度分界線,，而S4VM同時關(guān)注多個可能的低密度分界線,。因為給定一些有標(biāo)記的點和大量為標(biāo)記的點，可能存在不止一個低密度分界線,，所以很難決定哪個是最好的,如圖2所示,。雖然這些低密度分界線都與有限的標(biāo)記樣本吻合，但它們之間的差異很大,，因此如果選錯了，會有一個很大的損失,，導(dǎo)致性能的下降,。所以，S4VM試圖考慮所有可能的低密度分界線,。在給定許多不同“間隔”較大的分界線時,，通過對未標(biāo)記的樣本的類別劃分進(jìn)行優(yōu)化，使得在最壞的情況下,，相對于只使用標(biāo)記樣本的支持向量機的性能提升最大化,。

　　3 算法流程

　　本文提出算法的具體流程如下。

　　(1)對腫瘤基因表達(dá)譜進(jìn)行標(biāo)準(zhǔn)化,。

　　(2)去除無關(guān)基因,。利用RFSC計算每個基因的分值，

　　經(jīng)過降序排列后選出分值靠前的一部分基因作為候選基因,。

　　(3)特征提取,。利用局部保持投影提取主要的特征。

　　(4)分類測試,。利用S4VM進(jìn)行分類精確度的檢驗,。

　　4 實驗結(jié)果及討論

　　采用腫瘤基因表達(dá)數(shù)據(jù)集(http://home.ccr.cancer.gov/ oncology/oncogenomics/)進(jìn)行實驗測試，該表達(dá)譜共27個樣本(其中16個為正常樣本,，11個為腫瘤樣本),，3 467個基因。然后,，采用ALON等人[11]選出的含有2 000個特征基因的結(jié)腸癌基因表達(dá)譜數(shù)據(jù)集,，包括40個結(jié)腸癌組織樣本和22個正常樣本進(jìn)行降維實驗對比。

　　實驗1 選取數(shù)據(jù)集中的27個樣本,，采用SVM和S4VM進(jìn)行分類精度檢驗,分別選取分類信息指數(shù)為0.5,、0.7,、0.8、0.85,、0.9的2 085,、819、417,、279和184個基因,。SVM選取1/10、3/10,、5/10,、7/10、8/10作為訓(xùn)練集,；S4VM選取1/10,、3/10、5/10,、7/10,、8/10作為有標(biāo)號的數(shù)據(jù)。實驗對比結(jié)果如表1所示,。

　　在此實驗中,，訓(xùn)練集的樣本數(shù)越多，分類效果越好,；對于S4VM,，有標(biāo)記的樣本數(shù)越多，其精確度越高,，而且可以看出S4VM不會出現(xiàn)太大的精度變化,，而SVM精度變化很大,說明S4VM的魯棒性效果非常好。

　　實驗2 進(jìn)行去無關(guān)基因和直接降維的對比,。采用了PCA+SVM,、PCA+S4VM、LPP+SVM及LPP+S4VM進(jìn)行了對比實驗;選擇315個特征基因分別降到7,、10,、15、30,、和50維,。采用SVM分類器時作為訓(xùn)練集，在用S4VM時采用62個樣本中的3/10約 19個作為標(biāo)記的數(shù)據(jù),。實驗對比結(jié)果如表2所示,。可以得出，無關(guān)基因作為樣本中無關(guān)的屬性,，其存在對分類器模型的選取影響很大,；LPP由于很好地保持了局部結(jié)構(gòu)，其降維效果明顯要比PCA好,；S4VM由于考慮了多個低密度分割器,，并且充分利用了無標(biāo)記的數(shù)據(jù)，使其對分類器的訓(xùn)練有更好的貢獻(xiàn),，其魯棒性及精度要比直接使用標(biāo)記數(shù)據(jù)的SVM分類效果更明顯,。

　　基因數(shù)據(jù)的主要特點是高維數(shù)和高噪音。本文基于挖掘數(shù)據(jù)本質(zhì)特征的思路,，采用降維和安全的機器學(xué)習(xí)技術(shù)提出一種基因數(shù)據(jù)分析的半監(jiān)督學(xué)習(xí)算法,。通過實驗證明了算法中應(yīng)用降維的有效作用，同時也顯示出應(yīng)用S4VM作為學(xué)習(xí)機的潛力,，為該方面更深入的研究提供了重要理論和方法基礎(chǔ),。

　　參考文獻(xiàn)

　　[1] HOUBIN B, CHUNG R. Gene expression data classificationand Bioengineering(BIBE), IEEE 11th Inter-national Conference, 2011:66-71.

　　[2] YEUNG K Y, RUZZO W L. Principal component analysis for clustering gene expression data[J]. Bioinformatics, 2011,7(9):763-774.

　　[3] GOLUB T R, SLONIM D K, TAMAYO P, et al. Molecularclassification of cancer: class discovery and class predic-tion by gene expression monitoring[J]. Science, 1999(286):531-537.

　　[4] 李穎新，李建更,，阮曉剛.腫瘤基因表達(dá)譜分類特征基因選取問題及分析方法研究[J].計算機學(xué)報,2006,，29(2)：324-330.

　　[5] 于化龍,顧國昌,趙靖，等. 基于DNA微陣列數(shù)據(jù)的癌癥分類問題研究進(jìn)展[J]. 計算機科學(xué),，2010,37(10):16-22.

　　[6] 張敏,戈文航.雙聚類的研究與進(jìn)展[J]. 微型機與應(yīng)用，2012,31(4):4-6.

　　[7] HUANG S C, WU T K. Robust semi-super-vised SVM on kernel partial least discriminantspace for high dimensional data mining[C]. Proceedings of Information Science and Appli-cations(ICISA), International Conference,2012：1-6.

　　[8] JOLLIFFE T. Principal component analysis [M].New York:Springer,1986.

　　[9] He Xiaofei,NIYOGI P.Locality preserving pro-jections[C]. Proceedings of Advances In Neural Information Processing Systems 16, MA: Cambridge, MIT Press, 2004:153-160.

　　[10] Li Yufeng, Zhou Zhihua. Towards making unlabeled data never hurt[C]. In: Proceedings of the 28th International Conference on  Machine Learning(ICML’11), Bellevue, WA, 2011:1081-1088.

　　[11] ALON U, BARKAL N, NOTTERMAN D A, et al. Broad patterns of gene expression revealed by clustering analysisof tumorand normal colon tissues by oligonucleotide arr-ays[J]. Proceedings of the National Academy of Science, 1999,96(12):6745-6750.