肯睿Cloudera通過(guò)實(shí)時(shí)分析賦能企業(yè)網(wǎng)絡(luò )安全團隊

如今，網(wǎng)絡(luò )安全團隊在保護企業(yè)安全時(shí)正面臨一系列空前的挑戰。身份盜竊資源中心（Identity Theft Resource Center，ITRC）的《年度數據泄露報告》顯示，2023年共發(fā)生了2365起網(wǎng)絡(luò )攻擊，受害者超過(guò)3億人，數據泄露事件數量自2021年以來(lái)增加了72%。根據《2024年上半年數據泄露風(fēng)險態(tài)勢報告》統計，中國2024年上半年全網(wǎng)監測并分析驗證有效的數據泄露事件超1萬(wàn)6千起。

持續不斷且日益復雜的網(wǎng)絡(luò )攻擊讓許多專(zhuān)業(yè)人員感到力不從心。應對這種現狀，網(wǎng)絡(luò )安全團隊必須采用AI和自動(dòng)化技術(shù)，以更主動(dòng)、高效的方式抵御入侵。

然而，成功應對這些威脅面臨一個(gè)根本性難題：數據。本文介紹了網(wǎng)絡(luò )安全團隊在使用數據、分析和AI開(kāi)展工作時(shí)所面臨的問(wèn)題，Cloudera開(kāi)放式數據湖倉一體架構如何解決這些問(wèn)題，以及該架構對于應對現代網(wǎng)絡(luò )安全環(huán)境的復雜性有何關(guān)鍵作用。

Cloudera開(kāi)放式數據湖倉一體架構助力企業(yè)解決網(wǎng)絡(luò )數據帶來(lái)的挑戰

對于網(wǎng)絡(luò )安全團隊來(lái)說(shuō)，數據既是最大的財富，也是最大的挑戰。所以，網(wǎng)絡(luò )安全團隊面對的問(wèn)題不僅在于數據量龐大，更在于如何有效地管理與解讀。當前，網(wǎng)絡(luò )安全團隊面臨的難題包括：

●   數據過(guò)載：網(wǎng)絡(luò )安全工具會(huì )產(chǎn)生大量日志數據，包括域名服務(wù)（DNS）記錄、防火墻日志等。雖然這些數據對于調查和威脅狩獵（Threat Hunting）至關(guān)重要，但現有系統往往難以高效管理這些數據。錄入數據的速度往往過(guò)慢并且可能成本過(guò)高，從而導致響應延遲和錯失良機。

●   工具泛濫：一個(gè)企業(yè)部署的網(wǎng)絡(luò )防御工具平均達到40多種。雖然每種工具都有自己的用途，但分析人員往往要同時(shí)使用多個(gè)界面，導致他們的調查工作變得分散。由于需要在不同工具之間手動(dòng)切換，工作速度會(huì )有所減慢，這也導致分析人員只能依靠最原始的方法追蹤他們的發(fā)現。

●   非結構化數據無(wú)法用于分析：即便網(wǎng)絡(luò )安全團隊最終收集到日志數據，其格式也通常無(wú)法直接用于分析。網(wǎng)絡(luò )日志通常是非結構化或半結構化的數據，因此很難從中提煉出有價(jià)值的洞察。最終可能會(huì )導致分析人員為了規范、解析和準備用于調查的數據，浪費大量寶貴時(shí)間和資源。

Cloudera開(kāi)放式數據湖倉一體架構提供了解決這些難題的辦法。通過(guò)結合數據湖存儲的靈活性和擴展能力與數據倉庫的功能，開(kāi)放式數據湖倉一體架構統一并簡(jiǎn)化了網(wǎng)絡(luò )日志數據的管理。通過(guò)打破數據孤島，Cloudera實(shí)現了多源日志數據的整合，幫助網(wǎng)絡(luò )安全團隊進(jìn)行利用實(shí)時(shí)分析快速響應威脅。Cloudera的解決方案如下：

●   統一系統：Cloudera開(kāi)放式數據湖倉一體架構將所有關(guān)鍵日志數據整合到一個(gè)系統中。通過(guò)使用專(zhuān)為海量數據進(jìn)行高性能分析而設計的開(kāi)放表格Apache Iceberg，網(wǎng)絡(luò )安全團隊能夠訪(fǎng)問(wèn)所有數據并以更快的速度和更高的效率展開(kāi)調查。無(wú)論他們查詢(xún)的數據是現在的還是過(guò)去的，系統都能根據需求擴大或縮小規模。

●   針對分析進(jìn)行優(yōu)化：Iceberg表專(zhuān)為實(shí)現更快速、高效的分析而設計。憑借靈活的模式和分區，Iceberg表可將數據處理規模擴展到PB級，同時(shí)通過(guò)壓縮日志節省存儲成本。該方法以元數據為依據，能夠進(jìn)行快速查詢(xún)規劃，幫助網(wǎng)絡(luò )安全團隊在需要快速得到答案時(shí)加快獲取過(guò)程。

●   數據安全和治理：Cloudera共享數據體驗（Shared Data Experience, SDX）將安全和治理內置到每個(gè)步驟中。網(wǎng)絡(luò )日志通常包含有關(guān)用戶(hù)、網(wǎng)絡(luò )和調查的敏感數據，因此在確保授權團隊能夠安全訪(fǎng)問(wèn)和共享這些信息的同時(shí)，必須對這些信息予以保護。

●   實(shí)時(shí)洞察數據傳輸管道：開(kāi)放式數據湖倉一體架構為分析提供了基礎，而Cloudera的數據管道功能將原始、非結構化的網(wǎng)絡(luò )日志轉化為經(jīng)過(guò)優(yōu)化的Iceberg表。通過(guò)使用Cloudera Data Flow和Cloudera Stream Processing，團隊可以實(shí)時(shí)過(guò)濾、解析、規范和擴充日志數據，確保網(wǎng)絡(luò )安全團隊擁有用于高級分析的潔凈、結構化數據。

●   無(wú)縫集成：Cloudera開(kāi)放式數據湖倉一體架構與多種工具集成，從而讓調查人員、網(wǎng)絡(luò )安全分析師和數據科學(xué)家能夠使用他們常用的工具開(kāi)展工作。無(wú)論是Cloudera Data Visualization中的拖放界面，還是先進(jìn)的異常檢測機器學(xué)習模型都為數據管理帶來(lái)了更多可能。此外，憑借Iceberg的互通性和開(kāi)放標準，客戶(hù)可以為每項工作選擇合適的工具。

通過(guò)Iceberg實(shí)現實(shí)時(shí)威脅檢測

網(wǎng)絡(luò )日志數據的體量龐大且持續變化。在一部分舊系統中，查詢(xún)規劃和實(shí)際執行所花費的時(shí)間可能一樣長(cháng)。Iceberg通過(guò)存儲所有表元數據（包括分區和文件位置）提高查詢(xún)規劃的效率，進(jìn)而便利查詢(xún)引擎的使用。即使面對龐大且動(dòng)態(tài)變化的表，系統仍能保持可管理性，幫助網(wǎng)絡(luò )安全團隊執行實(shí)時(shí)威脅檢測，同時(shí)不被低效的查詢(xún)規劃流程拖累，實(shí)現更快速、高效的威脅檢測和調查工作流程。

此外，用于檢測和應對威脅的系統和流程也需要跟隨威脅演變。通過(guò)Iceberg，團隊無(wú)需重寫(xiě)表就能即時(shí)修改模式、分區和擴充流程。使用Iceberg快照進(jìn)行版本控制即可輕松重現表的先前狀態(tài)，因此，網(wǎng)絡(luò )安全團隊無(wú)需管理和維護多個(gè)數據副本，即可隨時(shí)訪(fǎng)問(wèn)歷史上下文。

未來(lái)趨勢：AI驅動(dòng)的網(wǎng)絡(luò )防御

在A(yíng)I驅動(dòng)網(wǎng)絡(luò )安全的未來(lái)趨勢下，Cloudera幫助網(wǎng)絡(luò )安全團隊提前做好相應準備。通過(guò)SQL AI Assistant等內置生成式AI工具，分析師可以快速編寫(xiě)SQL查詢(xún)以提煉出所需答案。從自動(dòng)執行例行任務(wù)到構建用于事件摘要的聊天機器人，Cloudera的AI功能在提高網(wǎng)絡(luò )防御效率的同時(shí)，保證了數據的安全可控。

通過(guò)在可擴展、安全和分析就緒的環(huán)境中整合網(wǎng)絡(luò )數據，Cloudera開(kāi)放式數據湖倉一體架構讓網(wǎng)絡(luò )安全團隊在應對網(wǎng)絡(luò )威脅時(shí)處于領(lǐng)先地位。憑借與眾多工具和執行引擎的無(wú)縫集成、靈活且經(jīng)濟的存儲以及內置的AI功能，Cloudera助力網(wǎng)絡(luò )安全團隊通過(guò)實(shí)時(shí)和預測性洞察緊跟網(wǎng)絡(luò )威脅的步伐，為企業(yè)保駕護航。