《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 業(yè)界動態(tài) > API遭惡意機器爬蟲攻擊 大多數(shù)公司毫無防備

API遭惡意機器爬蟲攻擊 大多數(shù)公司毫無防備

2021-08-28
來源:網(wǎng)絡(luò)安全應(yīng)急技術(shù)國家工程實驗室
關(guān)鍵詞: 爬蟲攻擊 API

  隨著企業(yè)逐漸將應(yīng)用程序轉(zhuǎn)移至云端,,并通過應(yīng)用程序編程接口(API)暴露各種功能,網(wǎng)絡(luò)罪犯也紛紛快速轉(zhuǎn)向利用這一新暴露出來的攻擊界面,。借助機器爬蟲,,黑客能夠大幅增加其攻擊的波及面和有效性。與許多新技術(shù)的情況類似,,安全再一次滯后了,。

  管理咨詢公司AArete技術(shù)實踐總經(jīng)理John Carey稱,問題在于企業(yè)必須合理安排其安全預(yù)算,??蛻敉ǔJ强床坏椒礄C器爬蟲技術(shù)方面的投入的。他說:“工具和技術(shù)稀缺,,而且越來越貴,。同時,由于是個有利可圖的犯罪領(lǐng)域,,威脅范圍也正在擴大,。”

  針對API的機器爬蟲攻擊問題愈趨嚴(yán)峻

  今年早些時候,,安全公司Radware和研究公司Osterman Research發(fā)布了一份報告,,指出2020年有98%的企業(yè)遭受過針對其應(yīng)用程序的攻擊,82%報告稱遭到惡意程序攻擊,。最常見的攻擊類型是拒絕服務(wù)(DoS),,86%的企業(yè)都經(jīng)歷過;網(wǎng)絡(luò)爬蟲攻擊次之,,84%的企業(yè)遭遇過,;賬戶劫持則有75%的企業(yè)報告過。

  受訪企業(yè)中55%將API安全當(dāng)做“首要工作”,59%表示要在2021年“大力投資”API安全,。僅四分之一的企業(yè)表示用過機器爬蟲程序管理工具,。至于明年,59%的企業(yè)計劃大力投資API防護(hù),,51%打算投入Web應(yīng)用防火墻,,但僅32%考慮投資反爬蟲管理工具。此外,,僅52%的企業(yè)將安全完全集成進(jìn)API持續(xù)交付,,而集成進(jìn)Web應(yīng)用的比例則是63%。

  情況只會越來越糟數(shù)字經(jīng)濟保護(hù)委員會9CSDE),、消費技術(shù)協(xié)會和美國電信協(xié)會(USTelecom)3月的一份報告指出,由于2025年物聯(lián)網(wǎng)設(shè)備的數(shù)量預(yù)計可達(dá)到800億,,相當(dāng)于全球人口數(shù)量的十倍,,機器爬蟲的破壞潛力也將隨其利用物聯(lián)網(wǎng)設(shè)備而呈指數(shù)級增長。API是很容易得手的目標(biāo),,因為企業(yè)可以通過API將后端數(shù)據(jù)和功能暴露給可信合作伙伴,、客戶和公眾。CSDE建議采用API網(wǎng)關(guān)來輔助抵御惡意機器爬蟲,。

  根據(jù)安全公司GreyNoise Intelligence的數(shù)據(jù),,在過去三個月里,有超過6800個IP地址一直在掃描互聯(lián)網(wǎng)上的ENV文件(用于存儲數(shù)據(jù)庫登錄憑證,、口令和API令牌的配置文件),。GreyNoise研究主管Nathan Thai透露,這些掃描流量中,,1.4%已知呈良性,。“一些安全公司會掃描這些文件,,他們沒有惡意,,只是在做調(diào)查或者編撰報告?!?/p>

  另外23%的流量就是惡意的了,,因為相同的IP地址還參與了其他可疑行為。剩下75%歸屬未知類別,,可能是無害的研究,,也可能是網(wǎng)絡(luò)罪犯在執(zhí)行被動監(jiān)視,好根據(jù)監(jiān)視情況通過其他渠道做別的壞事,。Thai稱:“通常情況下,,他們會一次做完,因為他們根本不在乎會不會被逮到?!弊畲蟮牧髁縼碓词悄膬耗??云托管提供商Amazon、Linode,、微軟,、阿里巴巴和DigitalOcean。

  而且這種活動還在升級,。過去六個月來,,執(zhí)行機會性ENV爬取的機器爬蟲的活動規(guī)模直接翻了個倍。Imperva的《2021惡意僵尸網(wǎng)絡(luò)報告》揭示,,惡意機器爬蟲如今占據(jù)了所有網(wǎng)站流量的四分之一,,相較于去年上升了6%,而且三分之一的登錄嘗試都是惡意的,。

  更糟糕的是,,惡意爬蟲程序還越來越智能了。Imperva應(yīng)用安全戰(zhàn)略總監(jiān)Edward Roberts表示:“更難以檢測和阻止的高級僵尸程序構(gòu)成了去年惡意爬蟲流量的主體,?!边@種惡意程序是造成API高速濫用、誤用及攻擊的根本原因,。隨著API數(shù)量每年成倍增長,,惡意黑客也有了更多途徑來入手敏感數(shù)據(jù)。

  如何利用針對API的機器爬蟲攻擊

  佛瑞斯特研究所首席分析師Sandy Carielli表示,,爬蟲程序常用于憑證填充攻擊,,也可用于庫存囤積。她說:“當(dāng)限量版運動鞋,、音樂會門票或最新游戲系統(tǒng)等搶手商品開始發(fā)售時,,機器爬蟲會搶在合法人類用戶之前一擁而上,瞬間搶光庫存,?!比缓笈老x程序運營者就可以轉(zhuǎn)售這些商品牟取暴利了。

  Carielli表示,,企業(yè)也會使用機器爬蟲,。“不道德的公司會用爬蟲程序從競爭對手的網(wǎng)站上爬取價格,,然后將自己的價格設(shè)得略低一點,,或者爬取高端產(chǎn)品的產(chǎn)品信息和圖片,再用在自己的網(wǎng)站上兜售假貨,?!?/p>

  DDoS工具和Web應(yīng)用防火墻防不住所有類型的爬蟲程序攻擊,。企業(yè)需要專用的反爬蟲程序管理解決方案。Carielli稱:“注意,,爬蟲攻擊合法業(yè)務(wù)邏輯,。你不是要阻止所有人登錄或購買產(chǎn)品,而是只阻止惡意爬蟲,?!?/p>

  看一家銀行是如何對抗惡意爬蟲的

  一家中型金融機構(gòu)的網(wǎng)絡(luò)安全技術(shù)經(jīng)理Jeff表示,被阻止的流量中85%都來自惡意爬蟲程序,。其余15%要么是地理封禁的登錄嘗試,,要么是合法人類用戶嘗試太多次登錄,或者使用了過時代理或應(yīng)用,。

  不是所有機器爬蟲網(wǎng)絡(luò)流量都會被阻止,。有些流量來自良性爬蟲程序。Jeff稱:“我們與Quicken和Mint等其他金融機構(gòu)和聚合器合作,。從某種意義上講,,這些都是爬蟲網(wǎng)絡(luò),因為這就是在多個站點執(zhí)行多項功能的API,。惡意爬蟲程序則只要能切進(jìn)來就可以造成大量破壞,。最糟糕的情況是,,惡意爬蟲程序能夠冒充用戶,,收集該用戶的財務(wù)信息?!?/p>

  網(wǎng)絡(luò)罪犯也能以其他方式利用機器爬蟲網(wǎng)絡(luò),。例如,他們可以利用網(wǎng)頁爬蟲找出哪家銀行提供最佳費率,,然后創(chuàng)建賬戶用來洗錢,。Jeff表示:“你會發(fā)現(xiàn)有機器爬蟲網(wǎng)絡(luò)不斷利用真實賬戶轉(zhuǎn)移資金,只不過是以自動化的方式轉(zhuǎn)移,。網(wǎng)絡(luò)罪犯還會利用機器爬蟲網(wǎng)絡(luò)來繞過限制,。他們可能位于受限制的國家,將機器爬蟲網(wǎng)絡(luò)設(shè)在不受限國家的云提供商處,,從而繞開合規(guī)監(jiān)管,。”

  為識別機器爬蟲程序,,Jeff所在的公司審查機器人程序的用戶代理名稱和IP地址,。如果是已知惡意IP地址,就立即阻止,。然后查看其與API的交互方式,,查找cookie或會話重放,、異常行為模式和其他可疑行為的跡象。

  Jeff稱:“如果請求的第一個頁面是賬戶狀態(tài)頁而不是登錄頁面,,那就不正常了,。假設(shè)我們知道某賬戶持有者是個22歲的大學(xué)生,每兩周周五會存入200美元,,而現(xiàn)在開始每周幾次存入大量現(xiàn)金,,那事情就不對勁了?!?/p>

  Jeff拒絕透露銀行內(nèi)部使用了什么工具來識別惡意行為,。而在外圍邊緣,他們采用Salt Security,。該工具的人工智能和機器學(xué)習(xí)大幅減輕了內(nèi)部安全團(tuán)隊的工作量,。

  只要發(fā)現(xiàn)一起機器爬蟲程序攻擊,往往該攻擊中的所有請求都有某種共性,,比如相似的請求構(gòu)造模式,,或者共同的源地址,或者都使用同一個代理,。Salt Security首席產(chǎn)品官Elad Koren稱:“如果是合法請求,,就會按一定順序進(jìn)來?!边@樣就可以使用通用參數(shù)識別同屬于該攻擊的其他流量,,或者標(biāo)記目標(biāo)賬戶以加強安全防護(hù)。Koren表示:“機器爬蟲網(wǎng)絡(luò)通常只是攻擊的一部分,。加上賬戶劫持,,一拿到登錄憑證,他們就能借助更高級的工具深入進(jìn)來,,卷走資金,。”

  常用機器爬蟲網(wǎng)絡(luò)檢測技術(shù)

  Radware和Osterman Research的調(diào)查研究顯示,,Web應(yīng)用防火墻(WAF)是檢測機器爬蟲流量最常用的技術(shù),,48%的企業(yè)都使用這種技術(shù)。此外,,47%的企業(yè)查找已知惡意IP地址,,43%使用全自動區(qū)分計算機和人類的圖靈測試(CAPTCHA),34%采用速率限制,,26%構(gòu)建自有解決方案,,僅24%使用專用反機器爬蟲程序技術(shù)。

  Constellation Research副總裁兼首席分析師Andy Thurai稱:“只要實現(xiàn)得當(dāng),,CAPTCHA非常有效,。我們知道,,抵御機器爬蟲程序的成功率高達(dá)90%。一般說來,,視覺處理挑戰(zhàn)非常有效,,需要人腦來解決?!?/p>

  速率限制和WAF也很有效,。Thurai表示:“實現(xiàn)得當(dāng)?shù)腁PI安全應(yīng)當(dāng)按用戶、位置和身份限制API使用的速率,,或者阻止不受支持的協(xié)議,、調(diào)用方式或可疑包頭或內(nèi)容?!睂S脵C器爬蟲程序防御解決方案還會監(jiān)測規(guī)模,、簽名、地理頻次和流量內(nèi)容等流量特征,。

  區(qū)分良性機器爬蟲程序和惡意機器爬蟲程序很有必要,。例如,大多數(shù)客戶通信都遷移到了聊天機器人等機器人程序上了,。所以,,任意給定時間上都有大量良性機器人程序流量流經(jīng)網(wǎng)絡(luò)。模式識別有助于區(qū)分這二者,。




電子技術(shù)圖片.png

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點,。轉(zhuǎn)載的所有的文章,、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容,、版權(quán)和其它問題,,請及時通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟損失,。聯(lián)系電話:010-82306118;郵箱:[email protected],。