噪聲數據隨著經濟和信息技術的不斷發展，許多企業開始引入了ERP等系統，這些系統使得企業的眾多活動數據可以實時記錄，形成了大量有關企業經營管理的數據倉庫。從這些海量數據中獲取有用的審計數據是目前計算機審計的壹個應用。接下來我為妳帶來基於大數據審計的信息安全日誌分析法，希望對妳有幫助。
大數據信息安全日誌審計分析方法
1．海量數據采集。
大數據采集過程的主要特點和挑戰是並發數高，因此采集數據量較大時，分析平臺的接收性能也將面臨較大挑戰。大數據審計平臺可采用大數據收集技術對各種類型的數據進行統壹采集，使用壹定的壓縮及加密算法，在保證用戶數據隱私性及完整性的前提下，可以進行帶寬控制。
2．數據預處理。
在大數據環境下對采集到的海量數據進行有效分析，需要對各種數據進行分類，並按照壹定的標準進行歸壹化，且對數據進行壹些簡單的清洗和預處理工作。對於海量數據的預處理，大數據審計平臺采用新的技術架構，使用基於大數據集群的分布式計算框架，同時結合基於大數據集群的復雜事件處理流程作為實時規則分析引擎，從而能夠高效並行地運行多種規則，並能夠實時檢測異常事件。
3．統計及分析。
按照數據分析的實時性，分為實時數據分析和離線數據分析。大數據平臺在數據預處理時使用的分布式計算框架Storm就非常適合對海量數據進行實時的統計計算，並能夠快速反饋統計結果。Storm框架利用嚴格且高效的事件處理流程保證運算時數據的準確性，並提供多種實時統計接口以使用。
4．數據挖掘。
數據挖掘是在沒有明確假設的前提下去挖掘信息、發現知識，所以它所得到的信息具有未知、有效、實用三個特征。與傳統統計及分析過程不同的是，大數據環境下的數據挖掘壹般沒有預先設定好的主題，主要是在現有數據上面進行基於各種算法的計算，從而起到預測的效果，並進壹步實現壹些高級別數據分析的需求。
大數據分析信息安全日誌的解決方案
統壹日誌審計與安全大數據分析平臺能夠實時不間斷地將用戶網絡中來自不同廠商的安全設備、網絡設備、主機、操作系統、數據庫系統、用戶業務系統的日誌和警報等信息匯集到管理中心，實現全網綜合安全審計；同時借助大數據分析和挖掘技術，通過各種模型場景發現各種網絡行為、用戶異常訪問和操作行為。
1．系統平臺架構。
以國內某大數據安全分析系統為例，其架構包括大數據采集平臺、未知威脅感知系統、分布式實時計算系統(Storm)、復雜事件處理引擎(Esper)、Hadoop平臺、分布式文件系統(HDFS)、分布式列數據庫(Hbase)、分布式並行計算框架(Map／Reduce、Spark)、數據倉庫(Hive)、分布式全文搜索引擎(ElasticSearch)、科學計算系統(Euler)。這些技術能夠解決用戶對海量事件的采集、處理、分析、挖掘和存儲的需求。
如圖1所示，系統能夠實時地對采集到的不同類型的信息進行歸壹化和實時關聯分析，通過統壹的控制臺界面進行實時、可視化的呈現，協助安全管理人員迅速準確地識別安全事件，提高工作效率。
2．實現功能。
系統能夠實現的功能包括：審計範圍覆蓋網絡環境中的全部網絡設備、安全設備、服務器、數據庫、中間件、應用系統，覆蓋200多種設備和應用中的上萬類日誌，快速支持用戶業務系統日誌審計；系統收集企業和組織中的所有安全日誌和告警信息，通過歸壹化和智能日誌關聯分析引擎，協助用戶準確、快速地識別安全事故；通過系統的'安全事件並及時做出安全響應操作，為用戶的網絡環境安全提供保障；通過已經審計到的各種審計對象日誌，重建壹段時間內可疑的事件序列，分析路徑，幫助安全分析人員快速發現源；整個Hadoop的體系結構主要通過分布式文件系統(HDFS)來實現對分布式存儲的底層支持。
3．應用場景。
上述系統可解決傳統日誌審計無法實現的日誌關聯分析和智能定位功能。如在企業的網絡系統中，大範圍分布的網絡設備、安全設備、服務器等實時產生的日誌量非常大，要從其中提取想要的信息非常困難，而要從設備之間的關聯來判斷設備故障也將是壹大難點。例如，某企業定位某設備與周圍直連設備的日誌消息相關聯起來判斷該設備是否存在異常或故障，如對於其中壹臺核心交換機SW1，與之直連的所有設備如果相繼報接口down的日誌，則可定位該設備SWl為故障設備，此時應及時做出響應。而傳統數據難以通過周圍設備的關聯告警來定位該故障，大數據審計平臺則是最好的解決方法。
大數據分析方法可以利用實體關聯分析、地理空間分析和數據統計分析等技術來分析實體之間的關系，並利用相關的結構化和非結構化的信息來檢測非法活動。對於集中存儲起來的海量信息，可以讓審計人員借助歷史分析工具對日誌進行深度挖掘、調查取證、證據保全。