安全态势感知vSIP
产品架构
更新时间: 2022-08-30 21:06:00安全感知平台采用分层的数据处理结构设计，从数据采集到最终的数据分析呈现形成完整的处理逻辑过程。层次划分如下：
整体框架分层设计
数据采集层
采集包括终端数据、流量采集、中间件数据、第三方设备日志、威胁情报对接。该层提供多种接口进行流量、日志数据的采集和对接，支持syslog、webservie、restful api、wmi等方式采集。
数据预处理层
对采集的数据进行预处理，包括数据清洗、数据归并、数据富化，最终数据转换为平台可理解的格式化数据，以文件的形式进行存在，等待分析。
整体数据处理流程如下：
• 数据收集：探针产生的元数据信息通过ETL工具进入平台，第三方设备的安全数据通过logstash采集处理进入平台
• 数据缓存：所有安全数据均通过kafka的消息队列缓存在平台中
• 数据处理：UEBA、机器学习等对安全数据进行分析时调用平台的Flink计算引擎
• 数据存储：探针低第三方设备传回的日志和流量等原始数据，将会存入ES中，而分析后的安全事件结果将会存入MongoDB中
• 数据调用：Logstash将日志数据范式化处理后，会把处理后的数据同时发送到ES和Kafka，然后flink从kafka中拉取数据进行关联分析运算，产生的安全事件、资产信息会存储到mongdb中，日志检索目前用的是类kibana，即我们自主设计和研发的日志检索交互界面，根据查询条件从ES拉取检索后的日志数据进行展示
大数据分析层
读取经过预处理后的数据进行离线计算，或读取ES（Eleastic Search）数据进行实时机算。在此进行全网安全数据的检测、分析和统计，并结合威胁情报、行为分析、智能分析等技术，发现安全威胁现状，同时，内置的多条安全关联规则可将数据进行归并告警。
数据存储层
分析数据和结果存储在ES引擎（Eleastic Search）中，可提供快速的检索能力。同时，对用于近期需要快速呈现的统计结果数据存放到MongoDB，可快速读取，相比ES引擎无需渲染和消耗内存。
数据服务层
基于APP的方式设计整个数据可视化的展示，基于从数据存储层获取数据的接口，读取展示数据，提供各种数据的安全可视服务及对外接口服务。
可视化使用ext作为JS框架，基于ECharts作为图形库，以vue架构作为大屏可视化呈现支撑。
上一篇：DDoS防护 
