1  需求描述

在中國人民銀行、中國銀監(jiān)會的監(jiān)管要求下,，各銀行對信息化的安全建設(shè)不斷加大投入,部署的安全防護(hù)設(shè)備也日益增多,，各類安全設(shè)備每天產(chǎn)生海量的告警日志，所存儲的日志量每天可達(dá)到GB數(shù)量級,。

針對這些龐大的運維告警日志,，存在難以有效地進(jìn)行管理和分析的問題，對于當(dāng)前的安全運營管理人員和團(tuán)隊來說亟待解決,。銀行數(shù)據(jù)中心,，IT運維領(lǐng)域涉及的運維數(shù)據(jù)涵蓋應(yīng)用日志、系統(tǒng)日志,、性能數(shù)據(jù),、網(wǎng)絡(luò)數(shù)據(jù)、流量數(shù)據(jù),、資產(chǎn)配置數(shù)據(jù),、數(shù)據(jù)庫日志、漏洞管理數(shù)據(jù)等,。上述信息的數(shù)據(jù)量大,，格式差異大且分散在不同的服務(wù)器中，如何搭建日志智能分析平臺,，將數(shù)據(jù)集中整合,、加工處理并應(yīng)用和展現(xiàn)在運維管理中，進(jìn)而提升安全運維能力,、提高運維服務(wù)質(zhì)量和效率,，是本文探索研究的重點。

2  技術(shù)路線選型

傳統(tǒng)SOC/SIEM雖都具備日志審計與分析的功能,，但是隨著攻防對抗的加劇,，其架構(gòu)已經(jīng)不能滿足目前的需要，下面就傳統(tǒng)SOC/SIEM與基于大數(shù)據(jù)日志智能分析平臺在架構(gòu),、功能方面進(jìn)行對比,，如表1所示。

因此,，基于大數(shù)據(jù)的日志智能分析平臺是目前主流的解決方案,，在架構(gòu)、性能、功能,、擴展性上都具有明顯的優(yōu)勢,。

3  日志智能分析平臺的設(shè)計實現(xiàn)

日志智能分析平臺邏輯架構(gòu)上分為資源層、數(shù)據(jù)采集管控層,、大數(shù)據(jù)層,、服務(wù)層、業(yè)務(wù)層,，如圖1所示,。

資源層主要包括各采集對象的網(wǎng)絡(luò)設(shè)備、安全設(shè)備,、應(yīng)用系統(tǒng),、主機系統(tǒng)、數(shù)據(jù)庫和服務(wù)器等,。

數(shù)據(jù)采集管控層主要負(fù)責(zé)多渠道獲取數(shù)據(jù),，并支持?jǐn)?shù)據(jù)預(yù)處理,，將采集來的數(shù)據(jù)分區(qū)分塊進(jìn)行存儲,。

大數(shù)據(jù)層分為數(shù)據(jù)存儲模塊和數(shù)據(jù)分析模塊。數(shù)據(jù)存儲模塊主要負(fù)責(zé)將采集的數(shù)據(jù)以索引方式存儲,，同時對常用的查詢分析的結(jié)果進(jìn)行緩存,。數(shù)據(jù)分析包括數(shù)據(jù)分析模塊、數(shù)據(jù)處理模塊,、平臺管理模塊等,；數(shù)據(jù)分析模塊支持對數(shù)據(jù)進(jìn)一步的加工處理，并支持結(jié)構(gòu)和非結(jié)構(gòu)化的數(shù)據(jù)處理,、關(guān)聯(lián)分析查詢,、深度學(xué)習(xí)。服務(wù)層可以提供對各類的應(yīng)用服務(wù),，如資產(chǎn)管理,、情報處理、工單管理,、告警處理,、響應(yīng)管理、任務(wù)管理,、數(shù)據(jù)管理等,，服務(wù)層提供的管理模塊還涵蓋了用戶認(rèn)證、數(shù)據(jù)權(quán)限控制等內(nèi)容,，保障數(shù)據(jù)訪問的安全可控,。

業(yè)務(wù)層包括業(yè)務(wù)功能模塊和數(shù)據(jù)呈現(xiàn)功能，包括態(tài)勢感知、行為分析,、風(fēng)險管理,、情報預(yù)警等模塊，并提供圖形,、表格,、報表等不同的展現(xiàn)方式進(jìn)行組合與鉆取分析。

大數(shù)據(jù)日志智能分析平臺普遍使用了基于Hadoop的大數(shù)據(jù)架構(gòu),，分布式部署的方式以及非關(guān)系數(shù)據(jù)庫技術(shù)的應(yīng)用,，滿足了每秒數(shù)十萬的日志采集和處理的需求，可以為大規(guī)模,、超大規(guī)模網(wǎng)絡(luò)提供高性能的日志采集存儲功能,。

ElasticSearch大數(shù)據(jù)分布式彈性搜索引擎模塊可以實現(xiàn)海量數(shù)據(jù)秒級的快速在線檢索分析。

通過使用Spark技術(shù),，在并發(fā)內(nèi)存內(nèi)處理機制方面能夠帶來數(shù)倍于其他采用磁盤訪問方式的解決方案,，借助離線計算引擎在小時級別內(nèi)，即可完成對PB數(shù)量級的數(shù)據(jù)挖掘,。例如：6個月內(nèi)的安全事件之間的相關(guān)性,、安全事件之間的影響程度、安全事件之間的規(guī)律性等并以報表形式進(jìn)行輸出,。

大數(shù)據(jù)日志智能分析平臺基于業(yè)務(wù)場景結(jié)合機器學(xué)習(xí),、基線梳理、關(guān)聯(lián)分析,、威脅情報等多種分析引擎,，以實現(xiàn)高效、準(zhǔn)確的智能日志分析,，可極大地提高安全運維的分析效率與準(zhǔn)確性,。

4  日志智能分析在運維管理中的應(yīng)用

4.1  基于攻擊鏈的告警事件定位分析

日志智能分析平臺對安全設(shè)備、網(wǎng)絡(luò)設(shè)備,、應(yīng)用系統(tǒng),、主機系統(tǒng)等進(jìn)行日志采集和索引分析后，運用多種分析引擎,，對日志進(jìn)行智能的歸并和處理分析,，提煉出當(dāng)前網(wǎng)絡(luò)的攻擊事件，使得一線及二線運維人員可以一次性對多臺安全設(shè)備,、網(wǎng)絡(luò)設(shè)備,、應(yīng)用系統(tǒng)、主機系統(tǒng)上的日志進(jìn)行事件查詢分析,；使得安全攻擊行為和事件查詢變得簡單高效,，這也是目前主流日志分析平臺的主要使用場景,。

在上述傳統(tǒng)日志下鉆或多源關(guān)聯(lián)分析基礎(chǔ)上，為了進(jìn)一步提升告警分析定位能力,，引入了攻擊鏈模型,，參照該模型將攻擊分為攻擊和攻陷兩個階段，運維人員可以重點聚焦失陷階段的告警事件,，及時止損,。

通過日志智能分析平臺的數(shù)據(jù)存儲層，可以對該事件相關(guān)的數(shù)據(jù)進(jìn)行記錄,，并基于IP,、時間、攻擊手法重新構(gòu)建攻擊的逐步過程,，安全分析人員可以清晰地了解和查詢攻擊時間和位置,、提權(quán)以及安裝特征等，安全分析師可以快速地構(gòu)建惡意攻擊的概要信息,，并通過鏈條式分析將注入路徑銜接起來,，識別出第一感染源頭和其他被感染者，或下一步預(yù)判,，使安全團(tuán)隊提前發(fā)現(xiàn)威脅,，能夠快速補救損害，將損失降到最低,。使用攻擊鏈分析模型,，可以幫助安全運維人員聚焦在對業(yè)務(wù)影響較大的攻擊事件上，如圖2所示,。

(1)攻擊鏈高危攻擊告警。通過告警界面的攻擊鏈視圖發(fā)現(xiàn)不同階段的攻擊告警事件,，并從中選

擇威脅最大的攻陷階段告警,。

(2)分析攻擊源與目標(biāo)。通過下鉆式分析,，鎖定安全事件的攻擊源與攻擊目標(biāo),。

(3)攻擊手法、時間分析,。通過對組成告警事件的原始日志下鉆式分析,，確認(rèn)攻擊手法與時間，為進(jìn)一步的處置提供技術(shù)輸入,。

4.2基于網(wǎng)絡(luò)流量的異常行為分析

通過采集防火墻或DPI類設(shè)備的網(wǎng)絡(luò)訪問日志以及NetFlow等方式,，借助機器學(xué)習(xí)的手段，實現(xiàn)對網(wǎng)內(nèi)網(wǎng)絡(luò)流量互聯(lián)動態(tài)基線的建立,，從而發(fā)現(xiàn)異常網(wǎng)絡(luò)訪問行為,，如圖3,、圖4所示。

(1)發(fā)現(xiàn)防火墻策略配置問題,。由于完成了安全域邊界的網(wǎng)絡(luò)訪問基線梳理,，一旦有防火墻配置不當(dāng)導(dǎo)致非正常訪問就可以觸發(fā)告警。

(2)發(fā)現(xiàn)非法外聯(lián),。無論是在互聯(lián)網(wǎng)還是第三方專網(wǎng)接入邊界,，可以通過外聯(lián)訪問基線篩選出異常的非法外聯(lián)行為。

(3)發(fā)現(xiàn)內(nèi)部流量異常,。包括內(nèi)部的惡意掃描,、ARP欺騙攻擊、內(nèi)部違規(guī)訪問等行為,。

(4)發(fā)現(xiàn)資產(chǎn)變化,。通過網(wǎng)絡(luò)流量提取的資產(chǎn)信息，發(fā)現(xiàn)未報備IT資產(chǎn),，避免出現(xiàn)通過主動掃描發(fā)現(xiàn)資產(chǎn)時間窗口過長的問題,。

4.3  運維日志管理與行為分析

根據(jù)銀行內(nèi)部安全控制要求，運維人員只能通過審計系統(tǒng)(堡壘機)間接訪問生產(chǎn)服務(wù)器,，其在生產(chǎn)環(huán)境的操作行為和結(jié)果以文件形式保存,，最終采集到日志智能分析平臺中?；谏鲜霾僮餍袨閿?shù)據(jù),，結(jié)合一些配置數(shù)據(jù)，平臺實現(xiàn)了多維度的操作行為分析和審計：

(1)實現(xiàn)了機構(gòu)用戶維度的操作行為分析,。使得管理層用戶了解各部門用戶的運維習(xí)慣(如上午9:00是應(yīng)用運維部門的訪問高峰,，主要是運維人員進(jìn)行巡檢及處理昨日非緊急問題)，基于時間建立訪問基線,，從而發(fā)現(xiàn)在非核心時段的可疑登錄,、多IP交互登錄、休眠賬號的異常登錄等行為,。

(2)實現(xiàn)了應(yīng)用維度的權(quán)限行為分析,。通過對應(yīng)用的實際訪問賬號與實際管理權(quán)限的對比，直觀展示不合規(guī)訪問情況,。

(3)實現(xiàn)了賬號維度的操作行為分析,。通過對比實際管理要求，找到非授權(quán)用戶使用root類高權(quán)限賬號進(jìn)行生產(chǎn)操作的情況,。

(4)實現(xiàn)了命令維度的操作行為分析,。例如Top10用戶統(tǒng)計等，對高危險命令的使用合理性進(jìn)行審查和通報,，有效降低了用戶操作風(fēng)險,。

4.4  威脅情報關(guān)聯(lián)分析

日志智能分析平臺支持外部開源和第三方情報數(shù)據(jù),，利用威脅情報提高安全運維分析的準(zhǔn)確度和時效性。

利用大數(shù)據(jù)分析平臺將本地數(shù)據(jù),、資產(chǎn)數(shù)據(jù)與情報數(shù)據(jù)按照多個維度進(jìn)行關(guān)聯(lián)分析,，即可快速感知威脅，通過平臺安全規(guī)則的篩選和過濾最終形成漏斗效應(yīng),，保證威脅告警更加精準(zhǔn)和有效,。為運維管理人員提供異常的情報分析和威脅情報的預(yù)警如圖5所示，其主要場景如下：

(1)實現(xiàn)快速漏洞定位預(yù)警,。嚴(yán)重漏洞爆發(fā)時,，基于日志智能分析平臺積累的資產(chǎn)信息(主要是資產(chǎn)的版本信息)與漏洞影響的版本進(jìn)行比對，快速鎖定漏洞影響的資產(chǎn)范圍,。

(2)實現(xiàn)日志與信譽庫實時關(guān)聯(lián)分析,。威脅情報提供的惡意IP、URL,、C&C,、文件信譽庫以及行業(yè)與客戶情報標(biāo)簽與告警日志進(jìn)行關(guān)聯(lián)定位，有助于管理員及時發(fā)現(xiàn)高危特別是針對金融行業(yè)的攻擊行為,。

(3)實現(xiàn)基于情報的多維度下鉆式分析,。利用威脅情報的內(nèi)在聯(lián)系，實現(xiàn)對可疑信息進(jìn)一步的深入挖掘分析,，以發(fā)現(xiàn)更多攻擊者線索,，有助于完成攻擊者的行為畫像。

4.5  實現(xiàn)可視化的安全態(tài)勢感知

在攻擊鏈分析等多種引擎處理的基礎(chǔ)上,，可以針對整體范圍或某一特定時間與環(huán)境,，基于這樣的條件進(jìn)行因素理解與分析，最終形成攻擊者的畫像,、歷史的整體態(tài)勢以及對未來短期的預(yù)測,，如圖6所示。

將分析結(jié)果按照入侵,、異常流量、病毒,、系統(tǒng)漏洞,，網(wǎng)站安全態(tài)勢進(jìn)行多維度可視化呈現(xiàn)，形成各種類型的安全態(tài)勢分析趨勢,，能夠很好地洞察銀行內(nèi)部整體安全狀態(tài),，并通過量化的評判指標(biāo)直觀地理解當(dāng)前態(tài)勢情況。

日志智能分析平臺就是基于以上方法論從海量數(shù)據(jù)中分析統(tǒng)計出目前存在的風(fēng)險,，通過趨勢圖,、占比圖,、滾動屏等方式清晰展示網(wǎng)絡(luò)安全態(tài)勢，協(xié)助安全分析人員快速聚焦全網(wǎng)高風(fēng)險點,。

5  日志智能分析的實踐

5.1  威脅情報定位惡意攻擊IP

威脅情報系統(tǒng)會定期下發(fā)IP,、URL、僵尸網(wǎng)絡(luò)的情報信息,，日志智能分析平臺會與這些活躍數(shù)據(jù)進(jìn)行關(guān)聯(lián)匹配,。

日志智能分析平臺捕獲到89.45.10.18的IP正在進(jìn)行攻擊，該IP是最近正在活躍的一個羅馬尼亞惡意IP,，與日志智能分析平臺的事件成功匹配,，意味著這個事件威脅可信度較高。

此外,，點擊此事件對此IP進(jìn)行溯源,，能夠查看歷史行為，可以看到情報監(jiān)控到它是Botnet客戶端,，說明很可能是黑客利用該IP作為跳板在對該用戶本地資產(chǎn)進(jìn)行攻擊,。

5.2  通過流量日志的行為互訪統(tǒng)計發(fā)現(xiàn)掃描

在某客戶內(nèi)部網(wǎng)絡(luò)中一臺惡意主機掃描網(wǎng)絡(luò)主機的所有端口，進(jìn)行系統(tǒng)掃描,，會觸發(fā)日志分析平臺的流量行為分析視圖出現(xiàn)如下特征（如圖7所示）,，基于該特征運維管理員就能快速定位惡意主機。

5.3  基于攻擊鏈模型發(fā)現(xiàn)失陷主機

基于可視化的攻擊鏈呈現(xiàn),，使運維管理人員可以直觀,、快速地定位到被黑客攻陷的IT系統(tǒng)，并支持下鉆分析,。

通過該視圖查看主機192.168.x.x的攻擊詳情,，發(fā)現(xiàn)該主機相關(guān)的事件為木馬事件，連接的可疑IP是兩個DNS服務(wù)器(8.8.8.8/208.67.y.y),，并且對公網(wǎng)其他IP進(jìn)行了攻擊,。

繼續(xù)下鉆查看對應(yīng)的木馬事件日志詳情，發(fā)現(xiàn)該主機請求的域名為暗云木馬對應(yīng)的域名,，從而確定失陷主機為目前流行的暗云木馬所控制,。

6  結(jié)論

基于大數(shù)據(jù)分析架構(gòu)的日志智能分析平臺，相對于傳統(tǒng)的日志分析技術(shù),，技術(shù)復(fù)雜度和學(xué)習(xí)處理能力更為先進(jìn),。能夠提供更為快速的處理分析和展現(xiàn)，適用于當(dāng)下大數(shù)據(jù)的存儲與分析應(yīng)用,，能夠幫助銀行業(yè)在關(guān)鍵業(yè)務(wù)系統(tǒng)及內(nèi)部系統(tǒng)實現(xiàn)全面的智能關(guān)聯(lián)分析,，提高運維人員在IT運維管理過程中的工作效率及安全態(tài)勢的感知能力。 

（收稿日期：2018-06-20）

作者簡介：

孫惟皓（1979-）,，男,，本科,，高級副總裁，信息安全治理體系與風(fēng)險管理,。

凌宗南（1981-）,，男，本科,，信息安全顧問,，大數(shù)據(jù)日志管理分析。

陳煒忻（1973-）,，男,，本科，高級安全咨詢顧問,，安全運營支撐平臺建設(shè),。