分析更多的安全数据-处理-如何收集-数据越多垃圾越多 (分析更多的安全隐患)

教程大全 2025-07-16 12:01:59 浏览

安全遥测正在兴起,但获取洞见性及可运营化的数据依然困难,很多企业在这方面是落后于时代的。我们需要全行业的努力来扭转这种局面。

安全团队如今收集的数据可谓海量。企业战略集团(ESG)的研究表明,38%的企业每个月安全运营中要收集、处理和分析10TB以上的数据。都是什么类型的数据呢?最大的数据源包括:防火墙日志、其他安全设备的日志数据、网络设备的日志数据、反病毒(AV)工具产生的数据、用户活动日志、应用日志等等。

值得指出的是,收集来的安全数据数量每年都在增长。事实上,28%的企业称现在比2年前收集、处理和分析的数据量多了很多,而另外49%的企业称当前处理数据量比2年前多了一些。

总的来说,这种对安全数据的痴迷是件好事儿。大堆数据中总会藏着少量有价值的精华。那么理论上,数据越多,等于精华越多。

然而,不幸的是,数据越多,垃圾数据也就越多。总有人得去梳理数据,转译数据,让数据有意义,能使用。而且,基本的存储问题也是存在的。是全部数据都存储下来呢?还是定义某种价值分类方法,保留有价值数据,扔掉其他的?是集中存储,还是分布式存储?是放在自家内部网络上,还是置于云端?还有,到底该怎么管理这所有的数据:关系数据库管理系统(RDBM)?分布式多用户全文搜索引擎Elastic?分布式系统基础架构Hadoop?SIEM?

面对问题吧!安全就是个大数据应用,是时候统合安全行业和网络安全人士,考虑安全数据问题,想出共有的解决方案了。

此处有些建议可供参考:

1. 我们需要倍加重视数据规范

是的,我们有一些标准格式,出自MITRE这样的组织,比如STIX、TAXII、CVE列表等等。但常见的抱怨是,这些标准都太复杂了,而且主要用于美国联邦政府。我们需要创建简单的标准数据封装,可以用在几乎全部安全数据上的那种。

举个例子,不用舍近求远,就看看Splunk吧。该公司建议采用通用信息模型(CIM)标准,来规范所有数据。这样就可以更容易地检索数据,将数据置于上下文中理解,并能关联不同系统中的数据元素。作为一个行业,我们需要的,是全部安全数据都能遵从类似CIM的一个开箱即用的模型,让每个人都可以更轻松地处理数据。

2. 所有安全数据都应可通过标准API使用

除了通用格式,所有分析工具、SaaS产品,还有数据仓库,都应提供通过标准API导入/导出数据的功能。比如这样一个用例:公司网络中有SIEM和网络分析工具,但外包了终端检测与响应(EDR)和威胁情报分析工作给SaaS提供商。当公司安全运营中心(SOC)团队检测到安全事件,他们应能通过想用的任意工具(或多个工具),即时从所有源分析全部数据。

我们需要数据能通过标准API进行实时导入/导出,以便可以简单有效地实时按需取用数据。

3. 企业需要分布式安全数据管理服务

今天的安全运营环境中,同样的数据会在不同分析工具中收集处理多次。这样非常浪费。为提升安全数据的效率和有效性,所有安全遥测都应通过分布式数据管理服务加以收集、处理、规范化并提供使用。

应澄清的一点是,数据并非就在分布式数据管理服务中加以分析。相反,数据应通过标准接口,以通用格式呈现给所有类型的分析工具。此类安全数据管理服务,还应负责基本的维护和安全操作。比如备份/恢复、归档、数据压缩、加密等等。分布式安全数据管理服务可能会在内部存储一些数据,然后自动过期并归档其他数据到更便宜的存储上(如磁带、云等)。注意:分布式安全数据管理服务,是ESG的SOAPA多层架构中的一层。

4. CISO必须拥抱人工智能和机器学习

鉴于安全数据规模的增长,知道数据的类型、位置、含义,清楚怎样整合数据的人的数量,就显得非常的小,且还在持续缩小中。几乎可以断定,我们实际上已经跨越了人类可以有效处理这些数据的那条线。是时候让机器来做那繁重的多层数据分析工作,为人类总结归纳数据,只把困难的决策工作留给人类就好。

好消息是,已经有很多安全类AI创新,很多解决方案也走到了实用阶段。坏消息是,市场上炒作太多,干货太少。给CISO的建议是:货物出门概不退换,买者自行小心,将大量资源投入研究、信息邀请书(RFI)/建议邀请书(RFP)和概念验证项目中。

5. 尽量自动化,更多自动化

任何可被自动化的东西都应该自动化,包括数据收集、数据规范化、数据分发、数据分析和自动化修复。人类应降到安全数据周期的末端,专注困难的调查和决策。

面对现实,好心的安全团队被如今庞大的数据量淹没。他们奋不顾身,尽力而为,但现实结果却冰冷残酷:随着安全数据规模上升,安全人员只能导出价值的增量部分。你甚至可以得出这样的结论:更多安全数据需要的额外操作开销,实际上会减少数据的价值——当今很多企业的现状。

要让增加的数据更有用,我们需要让它更易于消费、分析和操作化。而要达到这一点,安全行业和网络安全从业者需要精诚合作,共同努力。

戳这里,看该作者更多好文


数据准备指的是什么

(1)数据集成。 为了处理该问题,这个分析员收集了公司内部和外部的大量数据,包括有关持有保险单时间长短的数据,客户所持有的保险单种类(房屋保险、汽车保险或人身保险)的数据,有关客户的人口统计数据以及其他有关地区情况的数据。 这些数据的数据源各不相同,有的是公司的操作性数据,有的则是公司的外部数据。 为了操作方便,该分析员将这些数据集成于数据仓库中。 显然,这样做还避免了不一致等问题的出现。 (2)数据选择和预分析。 该分析员利用相关的抽样丁具对过去几年的几百万条的客户数据进行抽样,以便得到一个用于以后进行分析的样本集。 这样在不影响可信度的情况下可以减少分析过程的时间。

数据越多垃圾越多

为什么要进行碎片整理?

一、该不该定期整理硬盘?实际上,定期整理硬盘应该是毫无疑问的。 如果说硬盘碎片整理真的会损害硬盘的话,那也将是在对硬盘进行近乎天文数字般次数的整理之后。 硬盘使用的时间长了,文件的存放位置就会变得支离破碎——文件内容将会散布在硬盘的不同位置上。 这些“碎片文件”的存在会降低硬盘的工作效率,还会增加数据丢失和数据损坏的可能性。 碎片整理程序把这些碎片收集在一起,并把它们作为一个连续的整体存放在硬盘上。 Windows自带有这样的程序:磁盘碎片整理程序(DiskDefragmenter),但在工具软件NortonUtilities和Nuts&Bolts中有更好的此类程序。 然而,碎片整理对硬盘里的运转部件来说的确是一项不小的工作。 如果硬盘已经到了它生命的最后阶段,碎片整理的确有可能是一种自杀行为。 但在这种情况下,即使您不进行碎片整理,硬盘也会很快崩溃的。 实际上在大多数情况下,定期的硬盘碎片整理减少了硬盘的磨损。 不管怎么说,让硬盘的磁头从1处读取文件总比从8处读取要容易得多。 因此,一个每两周或四周整理一次的硬盘的寿命应当比一个永远不整理的硬盘长。 二、整理前的准备工作我们在整理硬盘前一般都要对它清理垃圾信息,检查有无错误,最后才能谈到碎片的整理和优化。 因此,我们在整理硬盘前,应该首先做好这些工作:1、应该把硬盘中的垃圾文件和垃圾信息清理干净。 系统工作一段时间后,垃圾文件就会非常之多,有程序安装时产生的临时文件、上网时留下的缓冲文件、删除软件时剩下的DLL文件或强行关机时产生的错误文件等,建议“菜鸟”朋友还是使用微软的“磁盘清理程序”代劳,“老鸟”当然可以使用一些功能更强的软件或手工清理。 2、检查并修复硬盘中的错误。 首选的仍然是微软的“磁盘扫描程序”,虽然它的速度实在不怎么样,但只要你有足够的耐心,经过这个程序对磁盘完整而详细的扫描后,相信系统中的绝大多数错误已经被修复了。 当然你也可以尝试一下其他工具,如扁鹊神医“Norton WinDoctor”,它的速度可比Windows中的“磁盘扫描工具”快多了。 三、整理方法及注意在Windows里,用户可以从“开始”菜单中选择“程序/附件/系统工具/磁盘碎片整理程序”,弹出选择驱动器窗口,选择要整理的分区,然后点击[确定]即可开始整理,但此方法碎片整理过程非常耗时,一般2GB左右的分区需要1个小时以上,所以建议读者:1、整理磁盘碎片的时候,要关闭其他所有的应用程序,包括屏幕保护程序,最好将虚拟内存的大小设置为固定值。 不要对磁盘进行读写操作,一旦Disk Defragment发现磁盘的文件有改变,它将重新开始整理。 2、整理磁盘碎片的频率要控制合适,过于频繁的整理也会缩短磁盘的寿命。 一般经常读写的磁盘分区一周整理一次。

在生产管理上FCST是指什么

在生产管理上FCST是指预估的意思,是Forecast的简称。 生产管理对企业生产系统的设置和运行的各项管理工作的总称。 又称生产控制。 其内容包括:①生产组织工作。 即选择厂址,布置工厂,组织生产线,实行劳动定额和劳动组织,设置生产管理系统等。 ②生产计划工作。 即编制生产计划、生产技术准备计划和生产作业计划等。 ③生产控制工作。 即控制生产进度、生产库存、生产质量和生产成本等。 生产管理的任务有:通过生产组织工作,按照企业目标的要求,设置技术上可行、经济上合算、物质技术条件和环境条件允许的生产系统;通过生产计划工作,制定生产系统优化运行的方案;通过生产控制工作,及时有效地调节企业生产过程内外的各种关系,使生产系统的运行符合既定生产计划的要求,实现预期生产的品种、质量、产量、出产期限和生产成本的目标。 生产管理的目的就在于,做到投入少、产出多,取得最佳经济效益。 而采用生产管理软件的目的,则是提高企业生产管理的效率,有效管理生产过程的信息,从而提高企业的整体竞争力。

本文版权声明本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请联系本站客服,一经查实,本站将立刻删除。

发表评论

热门推荐