关于企业安全威胁数据收集分析是一个系统工程，每天在我们网络环境中，都会产生各种形式的威胁数据。为了网络安全防护，会收集各种流量日志、审计日志、报警日志、上网设备日志，安防设备日志等等。很多公司都有自己的数据处理流程，大数据管理工具。我们根据过去的实践经验，总结出了一个威胁数据处理模型，因为引用增长黑客的模型的命名方式，我们称这种模式为：沙漏式威胁信息处理模型。
网络环境下构建的安全发现设备或服务，其主要的作用是，增加我方的防御厚度，减缓攻方的攻速，能通过足够厚的防御措施，在攻方攻破之前发现威胁，残血坚持到最后等回血，并且提醒友方人员的服务不要轻易送人头。
一、沙漏威胁处理模型
图1.威胁分析沙漏模型
威胁数据组织：
我们参考软件设计模式、神经网络层、增长黑客模型的归纳方法，归纳出一个威胁数据处理模型。通过这个模型，可以看出数据收集、处理、展现基本流程脉络，根据自己的实际需求情况，精简模型或是扩展模型，来够建我们的防御系统。
下面我们根据实际情况，概况出一个基本的模型，由若干层和多种元素构成。一个综合威胁信息聚合模型，像一个软件系统服务一样， 有输入层、处理层、输出层。输入层的数据源来自不同的分类数据类型：代理流量、镜像流量、真实流量、主机数据、设备数据、扫描数据等等。
通过收集不同级别的威胁信息数据碎片，根据威胁信息碎片类型分类、价值权重级别、数据的属性。将低信息量的威胁信息数据碎片，用信息化手段升级。将不同属性的数据碎片组合，提升威胁发现能力。
层次划分：
第一层：输入层(数据集中)：在输入层出现了以上提到的各种服务、设备产生的数据。这一层关键点是数据的收集，如果没有数据的收集，后续的横向和垂直的分析工作都无数据可分析处理。
第二层：处理层(数据加工)：数据只是收集而不处理，只是一种数据的堆砌。在数据处理层做了几件事情，
威胁情报数据可以有多种形态，基于流数据形式的信息，比较适合使用管道处理模式，在管道处理模式，根据不同的信息数据输入，在处理槽中，采用部署不同的数据处理技能单元。
装备、技能：
第三层：输出层(威胁发现)：对数据进行去伪存真后，根据被打过的标签进行策略分析落地，最后根据策略分析产出威胁信息数据。根据安全规则进行报警信息推送。对加工好的威胁数据，进行统计展示给用户。
为什么采用漏斗的方式表达这种模型，因为威胁情报，去误报的过程，整体就是过滤信息的过程，威胁信息由多变少的，逐渐的减少误报。最后将过滤后的威胁情报进行汇总，积累成区域型威胁情报库，不断的更新迭代。
二、安全角色分工
安全运维人员当面对如此之多的日志数据时，如何组织这些数据，在这些数据当中发现有价值的信息，是一件很多挑战的事情，不同的人在整个威胁发现系统构建的过程中担当不同的角色。
每一种职业种类，都有自己特长的和弱点，在某些场景下工作，有人适合在对抗路，有人适合在后期发力。各种职业人对威胁信息碎片组合不一样，不同威胁碎片信息的属性，不同的职业有不同的解读和运用。
面一种同一种威胁事件数据，有多种检测方法，比如针对 SQL注意和XSS注入这种威胁的发现方式就有：
同样是神经网络，使用的具体算法不同，样本不同，效果也不同， 比如：LSTM、MLP等。
有开源的检测软件，有商业软件都具备威胁分析报警的功能，可以作为平时网络环境中检测威胁事件的手段。商业软件的威胁分析过程是黑盒完成，用户看不到具体威胁实现的方法策略，属于产品核心的一部分。并且，无论是商业软件，还是开源软件都存在误报的情况的，还有漏报的情况。针对这种情况，在实践过程，我们采用相应方法处理。
为了强化某些防御技能，加厚防御，有时需要叠加防御装备，而叠加的防御装备又不能千篇一律，可以根据不同的攻击类型，在增加防御的同时，有减速的攻击防御手段，有迷惑眩晕的对方的防御手段，有终结阻断的对方攻击的防御手段，有抵抗对方挖矿控制快速脱离受控的手段，等等。
1. 过滤：交叉检查(垂直)
叠加检测分析装备与服务，提取头部信息，是为了尽量的消除误报。
举例来说，我们能通过流量镜像的方式，将网络中的一部分流量，导入某个威胁分析系统，分析系统会为我们产生各种类型的报警信息，但是，报警信息是会存在误报的。我们就可以用冗余威胁手段多次，对同一个威胁信息，进行威胁重叠判断，降低误报。
比如，我们可以对于基于正则模式匹配XSS分析结果，再用自然语言处理的方式进行确认，也可以对基于自然语言处理的报警，通过神经网络算法，或是开源威胁分析库的方式多次分析，通过交叉检查的方式，进行误报过滤，交叉检查是对威胁信息多重检查，叠加确认的过程。
因为每种威胁分析都可能会产生误报，产生误报叠加。这时候我们更应该关注的是，每种分析方法的头部威胁分析结果。
2. 关联：关联检查(横向)
网络环境中不只有一种监测手段存在，我们可以从不同的维度进行，对资产进行安全监控保护：
叠加堆砌威胁分析设备与服务，是为了提高发现的威胁准确率，减少漏报。有时会用多种不同的装备在同一区域叠加使用，强化某一效果，A装备效果不够快，可以用B装备。A看不见的，B可以看见。A不便于部署的，B可以便于部署。
举例来说， 相同网络环境：
横向的威胁检查方法可能还会很多，这里只是举例一些。
他们都有一个公同之处：这些检测分析服务都会产生，围绕同一主体的威胁报警信息，所以对于同一IP主体，可以通过各种检测手段，垂直确认后，再横向与其它分析模块的威胁数据进行比较。
威胁的确认，误报的情况是可能发生的，但是如果多种检测方式，都出现了威胁事件的发生，就降低了误报的可能性，具体的控制细节需要实施者具体控制的。
比如：一台机器，同时有扫描行为，还访问敏感端口，还触碰蜜罐，服务负载情况在异常时间发生异常变化，这一系列的操作，多个威胁事件同时指向一个主体，说明服务可能真的出现问题了。
如果用各种装备来强化防御厚度，并且可灵活上下线， 可以终结控制，可以阻断访问，效果更佳。
三、实现工具技术栈
图2.威胁分析沙漏模型(技术栈)
如果有多种检查手段，我们一定有多种威胁情报的，从技术工具层面，我们如果管理这些数据，如何挖掘、利用、驱动这些数据是一个问题。
今天的开源社区变的异常的强大，可以用各种开源软件，构建我们的安全检测系统，大家使用有类似的技术栈、像ELK、Hadoop、Spark这种工具都非常的常见，大家使用的技术工具手段都非常常见。
威胁发现系统是一个渐进发展的过程，在时间线上，根据规模和发展的状况不同，调用合适工具武器来达到自己夺标的目的，规模小的时候，发展初期，可以使用一般的统计工具就可以， ES单结点，Mysql数据，随着规模和时间的发展， 适应大的数据量，就可以更重型的武器来解决，更复杂的需求。
ES单结点无法满足就使用集群，一个集群不够，使用多个集群。 MySQL不够就用ClickHouse。
系统都是从小到大，不断迭代的过程，数据也从单机到集群，从一个集群到多个集群。检测系统、设备、日志格式都在不断的积累增多，越变越复杂。但是基础模式越来越清晰。
我们从实现的技术栈的角度分析具体使用过技术手段。
用ES一个很大的好处是，我们不用想使用关系型数据库时先创建表结构，可快速想报警数据收集。对安全威胁数据来说，ES前期收集数据更快捷。高危的报警数据，理论上应该和交通数据不一样，那么巨大的并发量，所以一般的ES就可以，另外ES本身可以扩展吞吐量。
我们对大量的日志数据驱动，还是比较担心的，所以我们用了ClickHouse。ClickHouse相对于其它的大数据工具，上手更快，更轻量，但是效果速度确实相当的好。我们可以在Clickhouse对威胁进行打标签。如果数据的级别没有达到这个量，可以使用Mysql。其实ES同样可以实现索引的SQL查询。
沙漏模式就是将数据由多变少，人肉一天处理几万报警，是处理不过来的。
四、流模式威胁处理模型
图3.威胁分析处理流模型
威胁数据的湖泊海洋都是由一条条的数据河流汇聚而成的。在早期“数据流”模式，收集数据操作起来灵活方便。因为数据，无论是接入，还是存储都不能一步到位的，采用增量的流模式数据处理比较适合。
各种信息数据，就像小河汇入湖泊一样，积少成多，最后形成更大数据动势，对于新的威胁检查手段加入，灵活的新加入一条威胁信息数据流，流入到我们的数据池子中就好。
使用ES收集数据的几个好处，如果结构化数据库相关于“定长表”来说， ES的储存是一种“变长表”，数据的“字段”可以灵活的增加或是减少。当输入段的数据结构发生变化时，数据结构不用频繁变更字段的定义，不用频繁的修改表结构。利用这种灵活性，可以在这个阶段对数据进行整形处理，数据的维护成本会降低。
采用 ClickHouse与MySQL数据库是为了结构化查询，能用SQL解决的问题，其实不用再多写很多的脚本，可减少脚本编写量，SQL本身可以当成很强大的DSL使用，对于主机审计应用OSQuery来说，支持SQL审计也是一种提高审计效率的方法。
五、威胁数据处理过滤模式(PULL、PUSH)
图4.传统威胁处理模型A
面对各种分类的海量数据，如何进行数据处理?
方法一个个针对性的处理。从历史发展迭代出来，基本可以归类的模式有2种，实际的威胁分析应用，本质上就是两大操作：
1. A/B模式数据采集与威胁分析过程
按同样的结构推送到，集中的威胁数据表中。(单表同构)
图5.传统威胁处理模型B
实际情况是， 威胁分析的模式这两种情况是并存的。
随着数据的集中处理工作的演进， 这种两种模，最后混合成到了一起，只是不同的场景运用了不同有的分析模式。
2. A/B模式的优缺点对比
PULL处理模式：
PUSH处理模式：
六、碰撞表:威胁检测模式
图6.威胁分析碰撞表模型
为了便于记忆，叫威胁比对模式为：碰撞表。
所谓碰撞表，就是能过建立一个统一属性结构的威胁报警二维关系表，将不同设备和服务的报警数据集中存储，根据威胁情报在表中，重复次数的多少，威胁等级的高低，综合累计威胁事件的多寡，来判断威胁的严重性。
简单说，同一个IP有多个威胁事件发生的越多，并且情报源来自不同服务和设备，威胁越大。
PULL的模式是对数据进行关联， 通 过脚本读取结构数据关联，通过表关联。
而在PUSH处理模式下生成的集中碰撞表，是按威胁共通属性进行威胁信息集中的，无论是什么类型的威胁那都是威胁，区别在于威胁级别和威胁分析有来源不一样，如果我们在碰撞表中，发现同一个IP多次出现，来自不同的威胁分析模块，而且威胁的级别还很高。各种威胁事件发生都这个IP相关，就需要关注一下这个IP。
我们对不同的威胁级别打分，并对同一IP累计分数，最后得出一个分数， 最后根据得分的高低，匹配不同的处理级别，报警级别。
攻击者的情报，我们可以在积累的内外部威胁情报中， 寻找回溯历史数据。被攻击者的情报， 我们可以在CMDB资产系统中，找到资产对应的责任人。将爆破表中的威胁情报，进行分类、统计、可视化给安全运维人员做报警提示。
以上就是举例说明，威胁信息能过沙漏威胁处理模型，进行威胁数据信息处理的一种策略举例。
七、总结
不同规模的环境中：
过去我们在运用ES和ClickHouse大数据工具的实践中，迭代演进，总结出了这种沙漏式的威胁处理模型，然后摸索出了一些共通性的内容，这篇没有过多涉及到具体的代码和工具使用方法。
趋势“云”和瑞星“云”有区别吗？
据资料显示，趋势科技是2002年开始研发关于Web安全的技术，投入了全球20%的资金与30%的人员在Web安全相关方面。 是全球第一个推出云安全技术的安全厂商。 而瑞星是国内第一个推出云安全的厂商。 趋势科技的云安全这项技术在于超越了拦截Web威胁的传统方法，以Web信誉（WRT）、邮件信誉技术（ERS）和文件信誉技术（FRS）为基础构建的云客户端安全架构，通过把大多数特征码文件保存到互联网云数据库中并令其在端点处保持最低数量，趋势科技得以在Web威胁到达最终用户或公司网络之前即可对其予以拦截。 这种全新的方法降低了客户网络和端点的带宽消耗，提供了更快且更全面的及时保护。 趋势科技云安全充分利用了公司诞生20年来的各种内部产品以及曾有效保护了数百万客户的托管解决方案，把反病毒战争纳入到互联网云中。 瑞星云安全的内容是，将用户和瑞星技术平台通过互联网紧密相连，组成一个庞大的木马/恶意软件监测、查杀网络，每个“瑞星卡卡6.0”用户都为“云安全”计划贡献一份力量，同时分享其他所有用户的安全成果。 通过将所有用户之间的木马病毒信息共享，在全网内进行木马的监测和查杀，借此瑞星也推出了“云安全”计划，期望建立一个基于互联网的安全管理平台。 “瑞星和趋势的云安全有相同的地方，都是利用互联网平台作为病毒检查的交互平台，但两者之间的差异也很多。 如卡卡6.0主要是对用户电脑系统的可疑模块自动监测，而趋势云安全则是针对网页、邮件、文件三大类在网络传输过程中的安全监测。 ”业内一位人士说。 趋势科技做了很多服务，比如说EOG，就是以云端服务的方法为户整理企业的网络环境。 我也看了一下瑞星的云安全技术，我想技术上面是有一个很大的差异的。 因为趋势科技比较强调终端，就是说终端要把病毒库变得比较轻，然后尽量把一些事情丢到后端。 我想这应该是一个安全厂商的服务理念问题，这也是最佳品牌与知名品牌的区别吧。 因为，第一是现在因为病毒太多，你终端也存储不下。 第二个，我觉得全世界的一个趋势是经济比较不景气，大家真的没钱，客户要装你的防毒软件还要加内存，资源占用肯定不能增加。 瑞星的云安全技术，本身只是强调类似于把一个档案护送的机制，这个机制趋势科技大概已经一年半以前就做了，但是更强调同样的技术应用到企业方面了，因为相对我们在个人用户端的市场比较小。 如果把一些档案往上送，我们叫做Host Discovery主动式发现服务，做了大概有一年多了。 通过对各厂商的云安全技术白皮书进行对比。 可以发现，国内厂商发布的“云安全”计划仍未突破代码比对传统技术，无法有效解决动态激增的安全威胁，响应速度仍受限于代码制作的流程性问题，无法在威胁到达之前在源端就予以阻止，仍是近身肉搏战，只是代码制作流程的优化。 同时与全球品牌相比，国内的安全厂商起步较晚，在信誉技术方面尚没有建立完整的体系，仍处于完善体系架构的阶段。 而目前，势科技“云安全（SecureCloud)”已经在全球建立了5个数据中心，台服务器，超过1000位安全专家，拥有99.9999%的可靠性。 云安全可以支持平均每天50亿笔点击查询，资料库第一次命中率就可以达到99%。
DOOS什么意思，到底是什么意思，游戏上边有，电脑硬件上边也有这个BOOS
BOOS,英文原意是“老板”“头”“老大”的意思，引申到游戏就是指每关最后最强的那个家伙，在某些地方常常被称为“关口”
(上海守诺)114rx主要是做哪些业务？
上海守诺网络科技有限公司也称为114RX，是一家专业从事网站建设，网络推广（GOOGLE、YAHOO等）的网络公司，同时也提供域名注册、企业邮局、虚拟主机等业务。 上海守诺网络科技有限公司 是一家将信息科学、计算机科学、数字学同企业信息化相结合进行研究和开发的公司，专注网站建设、信息系统集成、企业信息管理软件的开发与实施，公司根据企业所属行业、领导管理思想，公司管理制度及流程，公司人员知识结构和技能特点为企业量身定做，把企业领导优秀的管理思想融入网络信息以及软件，把企业最需要的原始信息、统计数据和分析结果实时、全面，准确地通过因特网和局域网呈现在各级领导以及顾客面前，为企业领导做决策提供便利依据，同时对信息进行深度挖掘分析 达到流程控制的目的，提升企业管理进步以及推广。 上海守诺网络科技有限公司拥有一支由资深网络从业人士组成的人才队伍，集策划、开发、设计、营销、管理等全方位专业化运作于一体，具备承接各种规模与类型的电子商务平台建设项目的能力。 经过努力的开拓，公司已将业务范围覆盖到了上海、江苏、浙江、安徽等地，共为上百家不同类别的企事业单位提供了优质的服务，并获得了客户的一致好评。 在开展业务的过程中，公司还积累了丰富的行业经验、营销资源和合作伙伴关系资源，并逐渐建立起规范的客户服务和保障体系。 志存高远，锐意进取。 公司将继续以良好的信誉为基础，秉承稳固与发展、求实与创新的精神，为客户提供更全面、更优质的电子商务平台建设服务！公司成立以来，一直以提供高品质的服务为首要目标，主要服务项目包括域名服务、虚拟主机、企业邮局、网站策划、网站建设、网站维护、网站推广、系统开发、软件开发、信息研究、数据分析、公司管理和软件实施等。 公司认为企业网络信息化是一项投入和产出的信息化工程，依照信息科学理论，按照工程的特 点最大限度优化设计方案和实施方案，站在企业投资的角度出发，实施时间短，出现问题少，容错率高，功能强，实施成本低。 企业的网络信息化已获得企业管理者的共识， 上海守诺网络科技有限公司不断研究最新信息技术和分析方法从而满足企业发展的需要。 我们对我们的解决方案将给企业带来信息管理进步和产生丰厚的效益充满信心。
发表评论