引言

　　截止到2012年,，全球數(shù)據(jù)量已經(jīng)從TB(1024GB=1TB)級(jí)別躍升到PB(1024TB=1PB),、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級(jí)別,。國(guó)際數(shù)據(jù)公司(IDC)的研究結(jié)果表明,，2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB,，2009年的數(shù)據(jù)量為0.8ZB,，2010年增長(zhǎng)為1.2ZB,，2011年的數(shù)量更是高達(dá)1.82ZB,，相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到2012年為止,，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB,，全人類歷史上說(shuō)過(guò)的所有話的數(shù)據(jù)量大約是5EB。IBM的研究稱,，整個(gè)人類文明所獲得的全部數(shù)據(jù)中,，有90%是過(guò)去兩年內(nèi)產(chǎn)生的。而到了2020年,，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍,。每一天，全世界會(huì)上傳超過(guò)5億張圖片,，每分鐘就有20小時(shí)時(shí)長(zhǎng)的視頻被分享,。然而，即使是人們每天創(chuàng)造的全部信息——包括語(yǔ)音通話,、電子郵件和信息在內(nèi)的各種通信,，以及上傳的全部圖片、視頻與音樂(lè),，其信息量也無(wú)法匹及每一天所創(chuàng)造出的關(guān)于人們自身的數(shù)字信息量,。

　　這種趨勢(shì)是否會(huì)繼續(xù)下去?答案是肯定的，我們現(xiàn)在尚處于“物聯(lián)網(wǎng)”的最初級(jí)階段,，智能設(shè)備還僅僅存在于家用電器等,；而隨著技術(shù)成熟,，我們的工業(yè)設(shè)備、交通工具和迅速發(fā)展的“可穿戴”科技將能互相連接與溝通,?；ヂ?lián)互通的高度信息化社會(huì)產(chǎn)生的可用數(shù)據(jù)量當(dāng)超越已有的任一個(gè)社會(huì)階段。

　　我們已然處于“大數(shù)據(jù)”時(shí)代,，不僅僅是“數(shù)據(jù)”,，而且是“大”數(shù)據(jù)。

　　大數(shù)據(jù)時(shí)代下的信息安全面臨著新的威脅,，如云平臺(tái)下的個(gè)人隱私保護(hù),，如全方位立體的信息系統(tǒng)增加了受威脅攻擊的承受面積等。每一個(gè)新的數(shù)據(jù)源加入信息網(wǎng)絡(luò),，便會(huì)成為新的潛在受攻擊點(diǎn),。慶幸的是，大數(shù)據(jù)分析技術(shù)也開(kāi)始滲透進(jìn)入安全領(lǐng)域,，開(kāi)始與傳統(tǒng)安全技術(shù)相結(jié)合,，誕生了數(shù)據(jù)時(shí)代的新型安全應(yīng)對(duì)方法：大數(shù)據(jù)安全分析。今天,，我們就從最初的網(wǎng)絡(luò)安全開(kāi)始講起,，一起來(lái)回顧大數(shù)據(jù)安全分析技術(shù)誕生的整個(gè)路程。

　　1,、 網(wǎng)絡(luò)安全的主干

　　FreeBuf是一個(gè)關(guān)于安全的頂級(jí)盛宴,，一般來(lái)說(shuō)，你總是能在這里找到你關(guān)心的安全問(wèn)題,，比如漏洞挖掘,、后門設(shè)計(jì)、智能安全等,。我們今天所談當(dāng)屬其中一個(gè)較大的類別,，也是我們今天討論的起點(diǎn)——網(wǎng)絡(luò)安全(CyberSecurity)：

　　網(wǎng)絡(luò)安全是指：網(wǎng)絡(luò)系統(tǒng)的硬件、軟件及其系統(tǒng)中的數(shù)據(jù)受到保護(hù),，不因偶然的或者惡意的原因而遭受到破壞,、更改、泄露,，系統(tǒng)連續(xù)可靠正常地運(yùn)行,，網(wǎng)絡(luò)服務(wù)不中斷。

　　僅從定義來(lái)看網(wǎng)絡(luò)安全定義吧,，不免有些抽象,，一般來(lái)說(shuō)我們可以使用CIA來(lái)具體描述網(wǎng)絡(luò)安全內(nèi)涵(目標(biāo))：

　　機(jī)密性(Confidentiality)：數(shù)據(jù)不被非法訪問(wèn)；

　　完整性(Integrity)：數(shù)據(jù)不被非法修改；

　　可用性(Availabitliy)：網(wǎng)絡(luò)服務(wù)始終良好運(yùn)行,；

　　當(dāng)然,，除去通用的CIA安全屬性，我們也可以要求可審計(jì)性,、不可否認(rèn)性(數(shù)字簽名)以及可控性(信息傳播及內(nèi)容受控,，如次數(shù)或特定人群訪問(wèn)權(quán))等。具體可以根據(jù)自身的業(yè)務(wù)需求在CIA基礎(chǔ)上充實(shí)成為最適合自身企業(yè)的安全模型,。

　　網(wǎng)絡(luò)安全的目標(biāo)實(shí)現(xiàn)依賴于其實(shí)現(xiàn)體系，其體系可以歸結(jié)為圖1：

　　上圖中涉及到網(wǎng)絡(luò)安全四個(gè)關(guān)鍵機(jī)制,，其中預(yù)防是安全的起始,，通過(guò)風(fēng)險(xiǎn)評(píng)估與控制形成初級(jí)安全防御；當(dāng)預(yù)防措施失效時(shí),，檢測(cè)機(jī)制將發(fā)現(xiàn)存在的攻擊行為,，報(bào)警后由響應(yīng)機(jī)制進(jìn)行中斷服務(wù)、斷開(kāi)連接等具體安全措施,。最初的網(wǎng)絡(luò)安全框架中只有上述三類,，隨著攻擊特征的研究逐漸增多，預(yù)測(cè)攻擊行為的可能性增大,，因此預(yù)測(cè)機(jī)制專用于預(yù)測(cè)高風(fēng)險(xiǎn)用戶與高風(fēng)險(xiǎn)節(jié)點(diǎn),，響應(yīng)的攻擊分析后可以作為新知識(shí)提供給預(yù)測(cè)模塊，實(shí)現(xiàn)預(yù)測(cè)的智能升級(jí),。預(yù)防,、預(yù)測(cè)、檢測(cè)與相應(yīng)構(gòu)成了網(wǎng)絡(luò)安全的主干(整體框架),，而百花爭(zhēng)艷的安全技術(shù)則像是點(diǎn)綴其上的美艷花朵,。

　　2、孤掌難鳴的困境

　　遺憾的是,，現(xiàn)有的安全防御機(jī)制在大數(shù)據(jù)時(shí)代的表現(xiàn)總是力不從心,。我們先來(lái)看看預(yù)防機(jī)制。

　　預(yù)防機(jī)制的核心是風(fēng)險(xiǎn)管理,，即識(shí)別和控制機(jī)構(gòu)面臨的安全風(fēng)險(xiǎn)的過(guò)程,。風(fēng)險(xiǎn)管理主要包括風(fēng)險(xiǎn)識(shí)別與風(fēng)險(xiǎn)控制，風(fēng)險(xiǎn)識(shí)別指檢查和分析機(jī)構(gòu)信息系統(tǒng)的安全態(tài)勢(shì)與面臨的風(fēng)險(xiǎn),，形成分線評(píng)估報(bào)告,；風(fēng)險(xiǎn)控制則是指用控制手段，減少機(jī)構(gòu)面臨的安全風(fēng)險(xiǎn),。風(fēng)險(xiǎn)管理可以簡(jiǎn)單理解為“先評(píng)估,，后實(shí)施”。

　　一般來(lái)說(shuō)風(fēng)險(xiǎn)管理可以分為三個(gè)層次：管理控制，主要是策略方針,，如密碼安全策略(復(fù)雜性與長(zhǎng)度要求),，支付卡行業(yè)數(shù)據(jù)安全標(biāo)準(zhǔn)(PCIDSS)等；技術(shù)控制：邏輯訪問(wèn)控制(基于角色的訪問(wèn)控制策略),、加密協(xié)議等,；物理控制：門禁、設(shè)施保護(hù),、安全視頻監(jiān)控等,。

　　圖2給出了企業(yè)風(fēng)險(xiǎn)管理的層次實(shí)例，常見(jiàn)的預(yù)防措施可以分為主機(jī)與網(wǎng)絡(luò)兩個(gè)層次,，主機(jī)方面涉及安全操作系統(tǒng)設(shè)計(jì),，已有漏洞補(bǔ)丁升級(jí)；邏輯訪問(wèn)控制：認(rèn)證(用戶身份)與授權(quán)(文件訪問(wèn)權(quán),、網(wǎng)絡(luò)使用權(quán)等),；安全實(shí)現(xiàn)：代碼安全審查(strcpy/strncpy)、單元測(cè)試,、最小特權(quán)實(shí)現(xiàn)等,。網(wǎng)絡(luò)層面包括安全協(xié)議：SSL/TLS等加固IP/TCP；安全設(shè)備：防火墻,，IDS等(基于網(wǎng)絡(luò)數(shù)據(jù)包的分析),。

　　最為常見(jiàn)的例子莫過(guò)于在網(wǎng)絡(luò)層實(shí)施SSL協(xié)議，該協(xié)議的主要功能是在原有TCP/IP框架上添加身份認(rèn)證與數(shù)據(jù)加密功能,，數(shù)據(jù)包結(jié)構(gòu)如圖3：

　　一般的SSL協(xié)議通信過(guò)程可以見(jiàn)圖4(客戶端連接服務(wù)器)：

　　客戶端Alice首先要驗(yàn)證服務(wù)端Bob的身份,，之后二者協(xié)商生成一個(gè)本次會(huì)話的臨時(shí)密鑰K，使用K加密本次會(huì)話數(shù)據(jù)包,，從而實(shí)現(xiàn)了安全數(shù)據(jù)傳輸,。

　　看上去從主機(jī)到網(wǎng)絡(luò)，我們已經(jīng)根據(jù)風(fēng)險(xiǎn)評(píng)估的結(jié)果實(shí)施了全面的防御準(zhǔn)備,，看上去固若金湯,，可是事實(shí)上果真如此嗎?事實(shí)上網(wǎng)絡(luò)安全威脅從未消失或減緩，反而變本加厲,，而“安全”也成為了互聯(lián)網(wǎng)的熱搜詞匯,，甚至國(guó)家層面都成立了“中共中央網(wǎng)絡(luò)安全和信息化領(lǐng)導(dǎo)小組”，因此可見(jiàn)網(wǎng)絡(luò)安全形式之嚴(yán)峻,。

　　自身防御漏洞百出

　　安全形式嚴(yán)峻的第一個(gè)重要因素就是,，防御體系自身就漏洞百出。首先從計(jì)算機(jī)系統(tǒng)與信息網(wǎng)絡(luò)自身角度來(lái)看脆弱性始終存在：

　　設(shè)計(jì)缺陷：競(jìng)爭(zhēng)條件漏洞(race condition vulnerability),、緩沖區(qū)溢出等,； 競(jìng)爭(zhēng)漏洞：如root程序的核查文件(access)與修改文件(write)間具有時(shí)間間隔,，導(dǎo)致攻擊者改變了文件符號(hào)鏈接，將符號(hào)鏈接到密碼文件上,；

　　緩沖區(qū)溢出：strcpy的源字符串長(zhǎng)度超過(guò)了目標(biāo)字符串空間長(zhǎng)度,，導(dǎo)致覆蓋掉了RET指針；

　　即便設(shè)計(jì)科學(xué)的防御系統(tǒng)在實(shí)際部署中也會(huì)存在諸多問(wèn)題,，如：

　　某些業(yè)務(wù)應(yīng)用設(shè)計(jì)時(shí)未考慮安全因素,，安全模塊事后追加，存在片面性與兼容性問(wèn)題,；

　　相關(guān)人員缺乏相應(yīng)安全培訓(xùn);

　　系統(tǒng)設(shè)置缺陷(防火墻使用默認(rèn)密碼或開(kāi)放默認(rèn)端口)

　　實(shí)際部署成本制約無(wú)法真實(shí)實(shí)現(xiàn)防御系統(tǒng)功能,，如考慮安全性與效能之間的折衷(如卡巴斯基的查殺率與系統(tǒng)占用率)、部署預(yù)防系統(tǒng)時(shí)的非技術(shù)考量：機(jī)構(gòu)需求,、經(jīng)濟(jì)成本,、上級(jí)政策等；

　　一般來(lái)說(shuō),，企業(yè)的信息系統(tǒng)中一般都會(huì)存在以下漏洞：

　　后門：隱秘登錄端口，rootkit(隱藏后門等惡意程序,，暗中收集數(shù)據(jù))

　　拒絕服務(wù)：升級(jí)版DDOS

　　竊聽(tīng)：竊聽(tīng)網(wǎng)絡(luò)機(jī)密數(shù)據(jù)傳輸,、監(jiān)控硬件設(shè)備電磁信號(hào)(如測(cè)信道攻擊)

　　應(yīng)用漏洞：主要用于獲取root權(quán)限，然后創(chuàng)建/維護(hù)后門,、木馬等,；

　　社工：攻擊機(jī)構(gòu)中脆弱的“人性”因素(欺詐攻擊)

　　因此，防御系統(tǒng)自身的設(shè)計(jì)缺陷以及實(shí)際部署中的成本制約與管理不規(guī)范導(dǎo)致安全漏洞無(wú)法完全避免,。

　　攻擊者日益精進(jìn)

　　除去防御者自身因素之外,，攻擊者日益精進(jìn)，從而威脅越來(lái)越高級(jí),、復(fù)雜也是一個(gè)重要原因,。我們先來(lái)看看常見(jiàn)的攻擊分類：

　　探測(cè)攻擊(Probe)：端口掃描(nmap-m：n)、抓包解析(tcpdump等)

　　拒絕服務(wù)攻擊：TCP SYN洪流(發(fā)送多個(gè)SYN連接不響應(yīng)),、PingofDeath(Ping協(xié)議組包錯(cuò)誤),、DDOS(多枚炮彈同時(shí)命中)

　　遠(yuǎn)程入侵攻擊(R2L)：登錄密碼暴力破解/字典攻擊、緩沖區(qū)溢出,、SQL注入,、社工；

　　提權(quán)攻擊(U2R)：緩沖區(qū)溢出,、rootkit等,；

　　感染傳播攻擊(Infections)：木馬、Botnet等,；

　　網(wǎng)絡(luò)攻擊并不容易,，必須經(jīng)過(guò)縝密的偵查與策劃，其核心階段有五個(gè)：

　　準(zhǔn)備階段：探測(cè)目標(biāo)端口、判斷系統(tǒng)軟件版本信息等,，社工收集補(bǔ)充信息,，評(píng)估目標(biāo)防御水平，選擇攻擊突破口,；

　　入侵階段：利用緩沖區(qū)溢出,、SQL注入等方法獲得系統(tǒng)root權(quán)限，是R2L與U2R兩類攻擊的結(jié)合,，甚至是社工方式進(jìn)入(釣魚(yú)網(wǎng)站等),；

　　后入侵階段：創(chuàng)建后門與安裝rootkit以便于長(zhǎng)期控制目標(biāo)；以目標(biāo)為基礎(chǔ),，探測(cè)周圍網(wǎng)絡(luò),，貢獻(xiàn)其它目標(biāo)主機(jī)(感染)，尋找有價(jià)值目標(biāo)(APT),；

　　自我保護(hù)階段：設(shè)置rootkit/加密等多種安全保護(hù)程序,，修改內(nèi)核進(jìn)程表避免安全軟件查殺、修改安全日志等,；

　　總攻階段：秘密傳輸目標(biāo)網(wǎng)絡(luò)的機(jī)密信息或崩潰目標(biāo)網(wǎng)絡(luò)系統(tǒng),，取決于攻擊者的動(dòng)機(jī)、目標(biāo)以及技術(shù)能力和目標(biāo)的安全防御水平;

　　每一個(gè)攻擊類型都很復(fù)雜,，而且階段繁瑣,，因此自然對(duì)攻擊者的技術(shù)門檻很高;然而現(xiàn)實(shí)中的攻擊者很多僅僅是“腳步小子”，原因就在于當(dāng)前存在許多可選,、高效,、開(kāi)放的黑客工具。由于數(shù)量眾多,，我們今天僅對(duì)代表性的工具作一速覽：

　　信息收集工具包括網(wǎng)絡(luò)包捕獲工具Wireshark/Tcpdump/Net2pcap等,，網(wǎng)絡(luò)掃描探測(cè)工具(主機(jī)IP協(xié)議版本)：Nmap/Amap/Vmap/Xprobe等。

　　攻擊工具包括木馬類的Danger/AIMSpy/NetSpy等,；拒絕服務(wù)攻擊類的Targa,、HOIC/LOIC等；網(wǎng)絡(luò)包偽造類：Packeth/Packet Excalibur/Libnet等,；應(yīng)用層類：Code Red Worm/Nimda Worm/AppDDoS/Botnet等,；用戶攻擊類：Ntfsdos/Yaga/Metasploit等。

　　值得一提的是Metasploit,，現(xiàn)在已經(jīng)更新為Kali系統(tǒng),，其上融合了現(xiàn)有的全套安全工具，從網(wǎng)絡(luò)掃描,、DNS解析,，到SQL注入,、郵件偽造、POC利用等,，已經(jīng)成為了事實(shí)上滲透測(cè)試的標(biāo)準(zhǔn)平臺(tái),。

　　上圖中是Kali系統(tǒng)上的一次攻擊應(yīng)用。隨著這些高級(jí)工具的出現(xiàn),，原本復(fù)雜攻擊要求的高技術(shù)門檻越來(lái)越低,，呈現(xiàn)了反向增長(zhǎng)的奇怪曲線，如圖6：

　　上圖反映了歷史攻擊復(fù)雜度與攻擊者技術(shù)要求的變化曲線,，可以看出攻擊演變趨勢(shì)上,，攻擊成本日益低廉，技術(shù)門檻越來(lái)越低,；與此同時(shí)攻擊工具日趨復(fù)雜,，攻擊復(fù)雜度越來(lái)越高，攻擊越來(lái)越難以防范,。而不斷進(jìn)化的攻擊也使得防御系統(tǒng)效果越來(lái)越差,，單單BYOD的引入，就使得自用設(shè)備打破了原始的安全邊界防御,，更何況大數(shù)據(jù)時(shí)代便捷多元的信息通信設(shè)備與方法,，傳統(tǒng)安全防御技術(shù)基本形同虛設(shè)。

　　3,、 似是而非的替代方案

　　原有單純基于安全邊界與單一安全設(shè)備的防御體系被現(xiàn)實(shí)摧垮，于是人們開(kāi)始尋找安全的替代方案,。當(dāng)網(wǎng)絡(luò)中具備了防火墻/IDS等多種安全設(shè)備之后,，一種自然的想法是將現(xiàn)有所有安全機(jī)制融合，形成層次漸進(jìn)的安全防御機(jī)制,，即縱深防御,，也稱作深度防御。

　　深度防御(Defense-in-depth)指利用一系列防御機(jī)制來(lái)保護(hù)計(jì)算機(jī)網(wǎng)絡(luò)的理念,，效果是一旦某一機(jī)制無(wú)法正常運(yùn)行,，會(huì)有另外一個(gè)可正常運(yùn)行的機(jī)制替代它。

　　一個(gè)典型的深度防御模型如圖7,，其中：

　　實(shí)時(shí)防御部分負(fù)責(zé)對(duì)實(shí)時(shí)消息流進(jìn)行檢測(cè)防御：防火墻為第一道關(guān)口,，負(fù)責(zé)控制內(nèi)外網(wǎng)絡(luò)訪問(wèn);IDS對(duì)通過(guò)防火墻的數(shù)據(jù)流進(jìn)一步檢查，發(fā)現(xiàn)其中的攻擊行為報(bào)警相應(yīng),；若攻擊逃避IDS檢測(cè),，則直接由應(yīng)急響應(yīng)與災(zāi)難恢復(fù)模塊處理。

　　日常防御模塊由脆弱性檢測(cè)模塊進(jìn)行系統(tǒng)自檢,，而預(yù)警子系統(tǒng)要綜合已有所有安全信息,，對(duì)未知攻擊進(jìn)行初步的預(yù)測(cè),。基礎(chǔ)設(shè)施主要有多種數(shù)據(jù)庫(kù)組成,，分別對(duì)兩類防御提供平臺(tái)支持,。

　　深度防御的關(guān)鍵在于檢測(cè)出攻擊，從而將攻擊損失降到最小?，F(xiàn)有基于IDS的檢測(cè)系統(tǒng)是深度防御的核心模塊,，因此我們重點(diǎn)分析下現(xiàn)有的檢測(cè)系統(tǒng)。

　　入侵檢測(cè)系統(tǒng)(IDS)由來(lái)已久,，至今發(fā)展經(jīng)歷了個(gè)世代,，第一個(gè)世代中的IDS基于誤用檢測(cè)(特征、規(guī)則檢測(cè)),，重點(diǎn)分析網(wǎng)絡(luò)包數(shù)據(jù),，從而發(fā)現(xiàn)可能的入侵與DOS攻擊，此時(shí)的IDS僅能檢測(cè)已知威脅,；第二世代的IDS利用SIEM進(jìn)行了融合,，從而可以關(guān)聯(lián)多個(gè)IDS的報(bào)警數(shù)據(jù)，提高了發(fā)現(xiàn)攻擊的能力,。

　　雖然IDS發(fā)展了兩個(gè)世代,，但是其不足也是明顯的。一方面攻擊態(tài)勢(shì)日趨嚴(yán)峻,，攻擊方式日趨復(fù)雜(工具多元化),，攻擊門檻日趨降低(技術(shù)要求降低，腳本小子),，攻擊動(dòng)機(jī)日趨強(qiáng)化(腳本小子-好奇,，黑產(chǎn)-經(jīng)濟(jì)利益，國(guó)家隊(duì)-權(quán)力/政治,，內(nèi)部人-不滿報(bào)復(fù)),；另一方面現(xiàn)有檢測(cè)技術(shù)能力有限，應(yīng)對(duì)多態(tài)惡意代碼,、APT攻擊,、0-day攻擊時(shí)都束手無(wú)策。而且防御與攻擊的最大不同在于：攻擊只為成功一次,，防御則要成功每一天,，因此防御方責(zé)任更大，形勢(shì)更為嚴(yán)峻,。

　　最近幾年發(fā)生的安全事件也驗(yàn)證了當(dāng)前安全防御脆弱無(wú)力的事實(shí),，如2010年發(fā)生的震驚全球的“極光攻擊”與“震網(wǎng)”兩個(gè)典型APT攻擊，其影響損失不言而喻,，但是伊朗核電站所受影響已無(wú)法簡(jiǎn)單用經(jīng)濟(jì)損失來(lái)衡量,；2014年韓國(guó)銀行客戶金融數(shù)據(jù)失竊,，童年JP摩根銀行客戶賬戶失竊，內(nèi)部人信息竊取,、欺詐已經(jīng)成為了企業(yè)面臨的首要威脅,。具體可參加下圖：

　　正當(dāng)人們?yōu)楝F(xiàn)有安全防御無(wú)力痛心的時(shí)候，大數(shù)據(jù)技術(shù)卻蓬勃發(fā)展,，一系列核心技術(shù)與平臺(tái)架構(gòu)均日趨成熟,，甚至出現(xiàn)了成熟的市場(chǎng)實(shí)例(如Amazon的大數(shù)據(jù)分析平臺(tái))。與此同時(shí),，安全日志的重要性逐漸得到大家的重視,，2010年一份報(bào)告顯示86%的安全事件可以回溯到安全日志，而安全日志數(shù)據(jù)量巨大,，導(dǎo)致實(shí)際無(wú)法有效利用,。

　　如同發(fā)現(xiàn)了新的美洲大陸，安全界不約而同將目光轉(zhuǎn)向了大數(shù)據(jù)技術(shù)在安全日志中的應(yīng)用,。學(xué)術(shù)界普遍認(rèn)為利用大數(shù)據(jù)技術(shù)是挖掘日志價(jià)值,，是提升安全檢測(cè)效果的關(guān)鍵。因此第三個(gè)世代的IDS出現(xiàn)了,，其融合了大數(shù)據(jù)分析技術(shù),，構(gòu)建了安全威脅情報(bào)平臺(tái)，從長(zhǎng)時(shí)間窗口中關(guān)聯(lián),，挖掘攻擊信息,，不僅提高了檢測(cè)未知威脅的能力，也縮短了攻擊與檢測(cè)相應(yīng)的時(shí)間周期,。

　　4,、 達(dá)摩克利斯之劍

　　大數(shù)據(jù)技術(shù)的出現(xiàn)使得分析蘊(yùn)藏著攻擊痕跡的海量安全日志成為可能，以此為依托,，國(guó)內(nèi)外均開(kāi)展了大量大數(shù)據(jù)安全領(lǐng)域研究。內(nèi)部威脅因其特有的隱蔽,、透明特性也成為了大數(shù)據(jù)安全分析的重要應(yīng)用領(lǐng)域,。基于企業(yè)內(nèi)部特有的內(nèi)部威脅風(fēng)險(xiǎn),，提取威脅特征,，然后在各設(shè)備安全日志中挖掘分析，從而檢測(cè)內(nèi)部威脅成為未來(lái)行之有效的內(nèi)部威脅檢測(cè)方案,，可以說(shuō)大數(shù)據(jù)安全分析技術(shù)成為了懸在內(nèi)部威脅頭上的達(dá)摩克利斯之劍,。按照數(shù)據(jù)源、分析方法,、時(shí)間度量,、能動(dòng)性與持時(shí)間周期等,，我們可以將現(xiàn)有內(nèi)部威脅中的大數(shù)據(jù)安全分析歸為幾類：

　　按照數(shù)據(jù)來(lái)源可以分為主機(jī)、網(wǎng)絡(luò),、應(yīng)用分析三類,。基于主機(jī)數(shù)據(jù)檢測(cè)數(shù)據(jù)來(lái)自系統(tǒng)調(diào)用日志與系統(tǒng)日志,；基于網(wǎng)絡(luò)數(shù)據(jù)檢測(cè)數(shù)據(jù)來(lái)自基于網(wǎng)絡(luò)數(shù)據(jù)包頭數(shù)據(jù)與流量數(shù)據(jù)與基于無(wú)線網(wǎng)絡(luò)數(shù)據(jù)檢測(cè),；基于應(yīng)用日志檢測(cè)數(shù)據(jù)來(lái)自數(shù)據(jù)庫(kù)日志、網(wǎng)站日志,、IDS指示器數(shù)據(jù)等,。

　　按照使用方法可以分為誤用檢測(cè)與異常檢測(cè)。誤用檢測(cè)又稱特征檢測(cè),，需要提取已知攻擊特征,，基于簽名匹配檢測(cè)攻擊，其準(zhǔn)確率較高,，然而無(wú)法檢測(cè)未知威脅;異常檢測(cè)基于“白名單”思想,，建立用戶的正常行為模型，從而檢測(cè)偏離正常模型的行為,，其可以檢測(cè)未知威脅 ,，但誤報(bào)率較高。

　　按照時(shí)間度量可以分為實(shí)時(shí)內(nèi)部威脅檢測(cè)與離線檢測(cè),。實(shí)時(shí)監(jiān)測(cè)將安全日志數(shù)據(jù)組我欸數(shù)據(jù)流實(shí)時(shí)分析報(bào)警,；而離線檢測(cè)則在后臺(tái)進(jìn)行數(shù)據(jù)挖掘分析

　　按照能動(dòng)性可以分為被動(dòng)檢測(cè)與主動(dòng)檢測(cè)兩類。顧名思義,，被動(dòng)檢測(cè)就是傳統(tǒng)的IDS,，檢測(cè)到內(nèi)部威脅即報(bào)警，但是不采取安全措施,，等待人為命令,；主動(dòng)檢測(cè)類似于IPS，檢測(cè)到內(nèi)部威脅可以自動(dòng)斷開(kāi)內(nèi)部攻擊者連接,，剝奪其訪問(wèn)權(quán)等,。

　　按照時(shí)間周期可以分為連續(xù)監(jiān)測(cè)與周期檢測(cè)。連續(xù)監(jiān)測(cè)即不間斷監(jiān)測(cè),，而周期檢測(cè)則是特定周期執(zhí)行檢測(cè),，兩次檢測(cè)間隔可能被攻擊者利用。

　　5,、 實(shí)例

　　作為本章的最后,，我們介紹一個(gè)實(shí)際的大數(shù)據(jù)安全在內(nèi)部威脅中的應(yīng)用實(shí)例，以供大家參考,。如檢測(cè)內(nèi)部人團(tuán)伙竊取信息行為：

　　1.分析文件訪問(wèn)異常行為的用戶

　　2.分析上步異常用戶的郵件聯(lián)系人圖,；

　　3.分析異常郵件關(guān)系圖中所有用戶的文件行為,；

　　4.采用機(jī)器學(xué)習(xí)建立分類器，多人,、多終端家呢異常,；

　　5.關(guān)聯(lián)多類異常，檢測(cè)內(nèi)部信息竊取攻擊,；

　　內(nèi)部威脅中的大數(shù)據(jù)安全分析尚未形成統(tǒng)一的理論,，仍處于“摸著石頭過(guò)河”階段。

　　6,、小結(jié)

　　本篇從最初的網(wǎng)絡(luò)安全講起,，分析了隨著信息時(shí)代發(fā)展，網(wǎng)絡(luò)防御方所面臨的挑戰(zhàn)與對(duì)抗安全威脅的決心和努力,，隨著大數(shù)據(jù)平臺(tái)技術(shù)與分析技術(shù)的成熟,，終于大數(shù)據(jù)安全分析應(yīng)用逐漸成為了現(xiàn)實(shí)。本文的基本脈絡(luò)我們以流程圖的形式總結(jié)如圖8：

　　大數(shù)據(jù)時(shí)代就像一把雙刃劍,，一方面帶了了新的安全威脅,，如大數(shù)據(jù)時(shí)代下的隱私保護(hù)問(wèn)題(圖10-個(gè)人隱私泄露風(fēng)險(xiǎn))：

　　另一方面又為我們帶來(lái)了新的安全利器，如我們今天所介紹的大數(shù)據(jù)安全分析技術(shù)(圖11-大數(shù)據(jù)安全分析應(yīng)用)：

　　至于最終大數(shù)據(jù)時(shí)代是好是壞,，我想僅僅作為看客是遠(yuǎn)遠(yuǎn)沒(méi)有發(fā)言權(quán)的,，最終的評(píng)判還需要仰仗各位看官的共同努力，改進(jìn)已有安全防御機(jī)制,，提高網(wǎng)絡(luò)安全防御效果,，使得人人都可以享有一個(gè)安全、便捷的網(wǎng)絡(luò)世界,。