误报率太高？AI+流量安全分析，让网络运维更轻松

    原标题：误报率太高？AI+流量安全分析，让网络运维更轻松

    误报率是衡量网络安全设备的重要技术指标，但如何正确检测和计算这项指标，没有统一科学的方法。安博通基于自主研发的网络流量安全分析系统，总结自身技术和经验，得出了一套安全设备误报率的检测计算方法，并基于深度学习技术将误报率降到业界较低水平，可减少企业机构安全运维的人力和时间投入。

　　误报率是什么？

　　· 误报：在网络安全设备报警规则集合C中，事件A触发报警时，发生了B事件报警或未发生报警。

　　· 误报率：在规则集C中，由于算法或事件定义导致安全设备产生误报的概率。

　　通用的误报率计算方法是，以设备规则集为出发点，对规则集事件进行加权处理，但业界暂无统一的权值标准，因此造成计算困难。

　　由于安全设备规则集较多，全面覆盖往往不现实。在实践中，通常以抽样测试方法来统计误报率，即随机挑选事件库中的部分事件，使用攻击工具触发这些事件，或以抓包工具对捕获的包进行回放，分析报警结果，从而得出安全设备的误报率。

　　基于深度学习技术的流量安全分析，降低误报率

　　安博通网络流量安全分析系统在传统流量采集、流量分析、流量回溯的基础上，集成自研的威胁情报技术，并应用深度学习技术，降低误报率。

　　深度学习技术是机器学习技术的一种，而机器学习是实现人工智能的必经路径。深度学习概念源于人工神经网络的研究，其通过组合低层特征形成更加抽象的高层表示属性类别或特征，并以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑学习分析的神经网络，它模拟人脑机制解释数据，如图像、声音、文本等。

　　基于深度学习的恶意文件、恶意URL、DGA域名等检测技术无需沙箱环境，可以直接将样本文件转换为二维图片，进而应用改造后的卷积神经网络Inception V4进行训练和检测。

　　Step 1：二进制文件转换

　　将样本文件初步处理后转换为二进制文件，转换后每个字节范围在00-FF之间，对应灰度图像素在0-255之间（0为黑色，255为白色）。将二进制文件转换为矩阵，矩阵又可以转换为灰度图。

　　Step 2：CNN图像识别

　　单靠观看很难区分恶意样本与白样本在纹理上存在的细微差异，采用成熟的CNN图像识别算法可以进行图像分类。

　　CNN（卷积神经网络）是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。它的构成包括：

　　· 输入层（Input Layer）

　　用三维矩阵代表一张图片，矩阵的长宽表示图片的大小，矩阵的深度表示图像的色彩通道，黑白为1 。

　　· 卷积层（Convolution Layer）

　　这一层的输入是上一层神经网络的一小块，它试图对神经网络的每一小块进行更深入分析，以得到抽象程度更高的特征。一般来说，本层处理后的结点矩阵深度会增加。

　　· 池化层（Pooling Layer）

　　不改变三维矩阵的深度，但能够缩小矩阵的大小，达到减少参数的目的。可以看做是将分辨率较高图片降低分辨率的过程。

　　· 全连接层（Fully Connecced）

　　经过多轮卷积和池化后，经过1-2个全连接层进行输出。可以将卷积层、池化层看做特征提取，最后由本层进行分类。

　　· Softmax层

　　转化为概率分布。

　　这一技术简化了检测流程，速度也优于沙箱技术，可将误报率控制在10%以内，最低降至1%。

　　以下是最近一次恶意文件训练后在测试集上评估的结果：

　　· 各项指标在97-98%左右，优于以往模型。

　　· 表现较差的几种格式，主要原因为正样本中样本数较少。

　　· dex是一种特殊的安卓文件格式，在负样本中没有收集到，导致测试结果可能偏向正样本。

　　· rar、zip压缩后对检测有一定影响。

    以下是DGA和恶意URL检测在验证集上的结果，可以看到误报率最低降至1%（1-准确率）。

　　创新提出全栈分析概念

　　安博通网络流量安全分析系统集成了会话分析、WAF、IDS告警、威胁情报分析、未知威胁分析、全流量溯源、文件还原取证等功能，并创新性地提出了全栈分析概念。

　　除了基于深度学习从技术层面量化降低误报率外，还可以从实际操作层出发，根据实践经验，应用这些措施降低误报率：

　　1、 应用自研威胁情报，可实时更新离线库，保障准确率。

　　2、 应用未知威胁分析，通过加白名单操作排除误报。

　　3、 应用异常流量检测、网络攻击检测，通过配置审计的精确IP，降低误报率。

　　4、 应用内置的WAF功能，也可以通过减少配置审计的IP降低误报率。

　　在技术发展日新月异的今天，将先进技术应用于网络安全领域，不断提升产品功能精度，是安博通自主创新的不懈追求。未来，公司将继续以人工智能技术赋能网络安全产业，切实保障在等保合规、红蓝对抗、日常运维中的安全需求，为各行业用户创造安全业务价值新体验。

　　关于安博通

　　北京安博通科技股份有限公司（简称“安博通”），是国内领先的可视化网络安全专用核心系统产品与安全服务提供商，2019年成为中国第一家登陆科创板的网络安全企业。

　　其自主研发的ABT SPOS可视化网络安全系统平台，已成为众多一线厂商与大型解决方案集成商最广泛搭载的网络安全系统套件，是国内众多部委与央企安全态势感知平台的核心组件与数据引擎。