AI+安全
數(shù)據(jù)安全
數(shù)據(jù)基礎(chǔ)設(shè)施
態(tài)勢感知
云安全
基礎(chǔ)安全
終端安全
商用密碼
軟件供應(yīng)鏈安全
網(wǎng)絡(luò)空間靶場
工業(yè)互聯(lián)網(wǎng)安全
物聯(lián)網(wǎng)安全
安全托管服務(wù)
運營管理服務(wù)
媒體報道
破解海量網(wǎng)絡(luò)安全大數(shù)據(jù)存儲難題，我們做了這六步
安恒AiLPHA大數(shù)據(jù)智能安全平臺，是網(wǎng)絡(luò)安全大數(shù)據(jù)領(lǐng)域十分優(yōu)秀的產(chǎn)品和應(yīng)用解決方案，其內(nèi)部集成著：超大規(guī)模數(shù)據(jù)存查、大數(shù)據(jù)實時智能分析、威脅情報碰撞、全網(wǎng)流量處理、復(fù)雜事件實時處理等功能，更具備了流計算任務(wù)監(jiān)控管理、安全模型定制化開發(fā)與編排管理、ES及kafka運維監(jiān)控管理、語法統(tǒng)一與轉(zhuǎn)換功能。
而以上所有這些功能的實現(xiàn)與穩(wěn)定運行，所依托的，都是其內(nèi)部自研的大數(shù)據(jù)框架——BaaS。
圖1 BaaS平臺架構(gòu)
BaaS，不僅僅意味著后端即服務(wù)，也秉承AiLPHA提出的大數(shù)據(jù)實驗室大數(shù)據(jù)即服務(wù)的理念。如圖1所示，BaaS不僅是整個安恒AiLPHA大數(shù)據(jù)智能分析平臺的計算核心，擔(dān)負著數(shù)據(jù)ETL、實時流計算、模型匹配、告警生成、數(shù)據(jù)入庫等核心的數(shù)據(jù)處理業(yè)務(wù)，更為產(chǎn)品提供了統(tǒng)一的運維監(jiān)控管理平臺，以應(yīng)對ES、kafka等組件的管理。BaaS為安恒的網(wǎng)絡(luò)安全業(yè)務(wù)提供一整套系統(tǒng)、成熟的大數(shù)據(jù)解決方案。
網(wǎng)絡(luò)安全大數(shù)據(jù)分析的業(yè)務(wù)挑戰(zhàn)
多源異構(gòu)的數(shù)據(jù)接入
網(wǎng)絡(luò)安全大數(shù)據(jù)分析平臺，不可能不支持多樣的數(shù)據(jù)格式與類型，它需要對不同廠家不同類型探針采集到的不同格式數(shù)據(jù)進行統(tǒng)一分析入庫。
差異化的海量數(shù)據(jù)存儲
網(wǎng)絡(luò)安全大數(shù)據(jù)分析存儲的場景，決定了其數(shù)據(jù)主要可以分為：流量數(shù)據(jù)、日志數(shù)據(jù)、中間計算結(jié)果、告警數(shù)據(jù)、維表數(shù)據(jù)等幾類。特別是海量的流量和日志數(shù)據(jù)常常會對集群造成很大的壓力，而接入的數(shù)據(jù)在不同客戶不同現(xiàn)場的數(shù)據(jù)分布情況上也都有很大的差異。例如常見的：數(shù)據(jù)在時間分布上存在周期性的高峰期，以至在ES集群中造成了超大索引，如果不加以有效的管理，將使索引的大小完全取決于客戶數(shù)據(jù)的接入，實質(zhì)是對自己的集群失去了控制。
分析結(jié)果數(shù)據(jù)的細化管理
對于網(wǎng)絡(luò)安全大數(shù)據(jù)平臺類的產(chǎn)品，在數(shù)據(jù)入庫的同時還需要對數(shù)據(jù)進行計算分析，這些分析計算的結(jié)果數(shù)據(jù)可以用于報表生成、大屏展示、模型再匹配等。這類數(shù)據(jù)常常與具體的分析業(yè)務(wù)或安全模型相關(guān)。而基于安全大數(shù)據(jù)平臺中開放的自定義安全模型管理功能，用戶可以在大數(shù)據(jù)智能安全平臺上自定義添加管理模型或業(yè)務(wù)，這也就對相關(guān)的ES索引管理提出了需求。
機器資源的適配
CPU、內(nèi)存、磁盤等等這些，機器資源永遠是有限的。如何在各個現(xiàn)場合理分配資源、配置ES索引，如何更便捷適配不同的機器資源環(huán)境，這些都對BaaS的ES索引管理提出了挑戰(zhàn)。
數(shù)據(jù)生命周期的管理
對于數(shù)據(jù)的管理，不僅僅是針對于數(shù)據(jù)寫入，還應(yīng)當(dāng)包括對已經(jīng)入庫的數(shù)據(jù)的整個生命周期的管理。數(shù)據(jù)入庫之后保存多久？有沒有必要把所有數(shù)據(jù)都放在ES的內(nèi)存中支持快速查詢？如果一直這樣下去系統(tǒng)怎么才能持續(xù)運轉(zhuǎn)？是否要實現(xiàn)數(shù)據(jù)的冷熱分離？這些問題，都是值得考慮的。
與上層業(yè)務(wù)的去耦合
對于網(wǎng)絡(luò)安全大數(shù)據(jù)平臺類的產(chǎn)品，數(shù)據(jù)入庫對應(yīng)的索引后，還需要支持查詢檢索、安全分析的操作與業(yè)務(wù)，這就要求ES索引管理策略與上層業(yè)務(wù)去耦合，否則將使得底層的索引的分類方式、命名方式、乃至于管理方式與查詢業(yè)務(wù)嚴重耦合，牽一發(fā)而動全身。
常常會有客戶要求：我們的索引按地域劃分好不好？能不能不按周劃分而是按半年？我們的索引就是想叫我們自己喜歡的名字，等等這些，在之前往往只能是定制團隊帶隊上線，定制開發(fā)。
實踐方案
為破解海量網(wǎng)絡(luò)安全大數(shù)據(jù)存儲難題，BaaS已經(jīng)形成了一套完整的ES管理機制，針對不同版本、不同環(huán)境、不同客戶需求的大數(shù)據(jù)智能安全平臺業(yè)務(wù)，提供動態(tài)配置，快速便捷地適應(yīng)產(chǎn)品需要。
1.? 索引劃分的優(yōu)化
在海量的大數(shù)據(jù)網(wǎng)絡(luò)安全實施經(jīng)驗的基礎(chǔ)上，BaaS優(yōu)化了默認的索引劃分方式。將海量的日志數(shù)據(jù)根據(jù)威脅等級等屬性進行劃分，統(tǒng)一保存在日志類型相關(guān)的索引中；將異常記錄、原始告警、統(tǒng)計指標等其他類型數(shù)據(jù)按較長的時間周期劃分，例如月、半年、一年或不劃分，并且將劃分方式與具體的安全模型或業(yè)務(wù)解耦，將這類數(shù)據(jù)全部統(tǒng)一打上相應(yīng)的標簽標識所屬業(yè)務(wù)，實現(xiàn)對入庫數(shù)據(jù)的差異化。
BaaS通過合理的細化管理，優(yōu)化索引種類、數(shù)量、分片數(shù)，在兼顧業(yè)務(wù)的同時極大地減少了維護成本與ES集群的壓力。
另外，不同于之前硬編碼強耦合的方式，BaaS支持動態(tài)的配置調(diào)整索引的名稱、劃分周期及業(yè)務(wù)含義等，對于不同的網(wǎng)絡(luò)安全場景，都可以僅通過配置動態(tài)定制自己的入庫策略與索引劃分方式。
2、引入別名
如果索引劃分的邏輯變更了，或者根據(jù)客戶要求通過BaaS修改了索引的名稱、劃分周期，那么之前相關(guān)聯(lián)的其他業(yè)務(wù)模塊不是也都要跟著改一遍嗎？
No，No，No！
BaaS引入了ES的別名機制，使得與ES相關(guān)的其他業(yè)務(wù)能夠和BaaS的ES索引管理的策略解耦。索引別名可以指向一個或多個索引，并且可以在任何需要索引名稱的API中使用。別名為我們提供了極大的靈活性，它允許我們在正在運行的集群上的一個索引和另一個索引之間切換，或?qū)Χ鄠€索引進行分組組合，而這些對于業(yè)務(wù)的調(diào)用方是透明的。例如：為兼容舊版本業(yè)務(wù)，默認情況下每種索引都會有一個與過去版本同類型索引名對應(yīng)的別名，使得其他業(yè)務(wù)能夠依然正常使用。
另外，對于每個索引，可以配置多個別名，適配多種安全大數(shù)據(jù)分析場景。
以上這些，都可以通過BaaS動態(tài)配置管理實現(xiàn)，這就達到了解耦上層業(yè)務(wù)的目的。
3、ES索引模板維護
BaaS在海量大數(shù)據(jù)存儲與安全分析的業(yè)務(wù)中引入了索引模板的管理。對于每一種劃分的索引，都首先為其新建模板，然后在新建索引以應(yīng)用模板中的設(shè)置。
在索引的模板中，可以配置索引的別名、索引的配置（settings）、字段映射（mappings）等信息，明確地設(shè)定索引的分片數(shù)、副本數(shù)及其他可優(yōu)化性能的配置。
同時，基于BaaS統(tǒng)一的數(shù)據(jù)字典管理功能，我們根據(jù)分析團隊及客戶提供的數(shù)據(jù)字典，動態(tài)的生成索引mapping，規(guī)范數(shù)據(jù)的寫入，使得海量的異構(gòu)數(shù)據(jù)遵循統(tǒng)一的數(shù)據(jù)字典標準。另外，動態(tài)mapping的支持使得安恒的大數(shù)據(jù)安全平臺具備了動態(tài)拓展能力，也能支持客戶現(xiàn)場多樣的不在字典中的非標字段。
我們還將索引的模板配置開放到了BaaS自己的前端界面，便于運維與監(jiān)控。例如：在修改了某一類索引的模板內(nèi)容后，BaaS將自動修改ES集群中模板的內(nèi)容，并新建一個新的索引以應(yīng)用最新的模板配置，并將可寫的別名指向這個新建的索引。整個操作對于業(yè)務(wù)方式完全透明的，但在后端實質(zhì)上已經(jīng)實現(xiàn)了索引配置的實時更新。
4、ES索引生命周期管理
ES的索引生命周期，可以隨時間的推移管理索引。對于時間序列的索引，索引生命周期有四個階段：hot——索引積極地更新和查詢、warm——索引不再更新，但仍在查詢中、cold——索引不再更新并且很少被查詢。信息仍然可搜索，可以接受較慢的查詢速度、delete——不再需要索引，可以安全地刪除它。
BaaS引入了ES的索引生命周期管理機制，對每一種索引都配置了相應(yīng)的生命周期。它與索引的別名管理、模板管理，三者之間是緊密聯(lián)系，三位一體的。
特別是，在hot階段，我們配置了索引滾動（rollover）。這一功能使得我們可以設(shè)置一個存儲空間或數(shù)據(jù)條數(shù)的閾值，當(dāng)數(shù)據(jù)持續(xù)寫入時，一旦超過這一閾值，ES將進行索引滾動，新建一個索引并使得原有索引的寫別名指向這個索引，同時還會將原索引標記為只讀。而又由于BaaS為每一種索引都設(shè)置了對應(yīng)的模板，新生成的索引仍將應(yīng)用我們配置好的索引，整個系統(tǒng)能夠持續(xù)穩(wěn)定運行。這就解決了常見的數(shù)據(jù)不均衡導(dǎo)致的個別索引過大問題。
除此之外，在warm、cold階段，通過BaaS也可以相應(yīng)地設(shè)置索引收縮、冷凍等操作，以減輕大數(shù)據(jù)安全分析集群存儲和運行時的壓力。
5、定時任務(wù)
由于ES6.8版本本身對于生命周期的實現(xiàn)還有很多需要改進之處，BaaS平臺為實現(xiàn)集群的長時間穩(wěn)定運行，對于常見的異常情況都配置了相應(yīng)的定時任務(wù)，在ES本身機制之外提供了“雙保險”，保證著模板管理、別名管理、生命周期管理這三者的持續(xù)可用，保證著整個集群長期可持續(xù)穩(wěn)定運行。
鑒于《中華人民共和國網(wǎng)絡(luò)安全法》國家網(wǎng)絡(luò)安全法中要求網(wǎng)絡(luò)日志保存6個月以上的規(guī)定，針對海量的網(wǎng)絡(luò)安全大數(shù)據(jù)存儲業(yè)務(wù)，BaaS配置了相關(guān)的磁盤清理、定時檢查等任務(wù)，保證數(shù)據(jù)在ES索引中的安全性的同時也將及時清理重要級別較低的數(shù)據(jù)，使集群能夠長期穩(wěn)定運行。
6、動態(tài)支持
基于應(yīng)用場景數(shù)據(jù)量、成本等因素，安全大數(shù)據(jù)產(chǎn)品一般需要支持多變得機器資源環(huán)境配置，例如有單臺、雙臺、多臺等，或是ARM版、mini版、敏捷版等不同分類，更有各類定制項目。而不管是哪個版，能夠分配給BaaS、分配給ES的資源總是屈指可數(shù)。在不同環(huán)境中如果都使用一套配置那顯然是不現(xiàn)實的。
BaaS有一套動態(tài)的機制，可以根據(jù)ES集群的節(jié)點數(shù)，動態(tài)的配置模板中的分片數(shù)、索引生命周期中的索引滾動閾值等，實現(xiàn)自適應(yīng)的ES索引的管理。
不斷精進
隨著網(wǎng)絡(luò)安全大數(shù)據(jù)分析業(yè)務(wù)的不斷拓展，對ES索引管理提出了更多更高的要求。隨著多年的研究和技術(shù)發(fā)展，安恒AiLPHA大數(shù)據(jù)智能安全平臺針對網(wǎng)絡(luò)安大數(shù)據(jù)相關(guān)相關(guān)的使用場景，我們還在不斷地精進。
1.以自研的flink流計算任務(wù)實現(xiàn)etl模塊，替換了“較重”的logstash；
2.ES集群級別的配置優(yōu)化；
3.可以通過界面便捷操作的ES運維監(jiān)控平臺；
4.ES寫入策略優(yōu)化；
5.對于特殊場景、去除了副本及ES的translog機制以大幅提升性能。
迎接挑戰(zhàn)
安恒信息AiLPHA大數(shù)據(jù)智能安全平臺，全天候監(jiān)測60000+業(yè)務(wù)系統(tǒng)，累計發(fā)現(xiàn)300000+起安全隱患，協(xié)助公安追溯打擊案件五十余件，為國家安全建設(shè)作出耀眼成績。
在企業(yè)態(tài)勢感知領(lǐng)域，率先落地UEBA、SOAR、ATT&CK，推出智能資產(chǎn)測繪、AI關(guān)聯(lián)分析、可編排的安全運營三大核心能力，顯著提升安全運營效率400%以上。
在網(wǎng)絡(luò)全球化的時代，網(wǎng)絡(luò)安全問題已經(jīng)成為全球企業(yè)進行數(shù)字化轉(zhuǎn)型的巨大阻礙。安恒信息立足國內(nèi)，全球布局，成功開辟歐洲、北美市場，為全球超過2000家客戶提供高質(zhì)量的態(tài)勢感知服務(wù)。
BaaS作為安恒AiLPHA的計算核心，將繼續(xù)為這座大廈做好基礎(chǔ)的、穩(wěn)定的、堅固的柱石，為客戶提供業(yè)務(wù)不間斷穩(wěn)定運行安全保障，致力于讓安全更智能，更簡單。
