对于已知的数据，企业已经很难跟踪和保护，更不用提黑暗数据–即企业无意中创建的数据，黑暗数据给企业带来了全然不同的挑战。主要挑战包括弄清楚如何访问、使用和保护黑暗数据，以防止攻击者将其用于攻击企业。
而确定企业有多少黑暗数据也面临挑战，对此，在True Global Intelligence的赞助下，旧金山大数据软件供应商Splunk公司对普遍存在黑暗数据进行了研究。
在本次问答中，Splunk公司的高级副总裁兼首席技术官Tim Tully解释了什么是黑暗数据、为什么会有这么多黑暗数据以及企业如何使用数据管理和培训来更好地查找、使用和管理这些数据。
您如何定义黑暗数据?
Tim Tully：我们将黑暗数据定义为未知、未识别或未使用的数据，我发现这份报告中最有趣的关键数据是，我们调查的公司认为全球55%的数据都是黑暗数据。这个数字比我想象的要高。
我认为这个数据会很低的原因是，在来Splunk之前我曾在雅虎从事数据工作约14年，而我所做的工作都涉及大数据。我追踪了日志集或日志ETL(提取、转换、加载)以及数据的使用情况，根据我的经验，这个数字会低得多，因为我看到我们从世界各地的数十万台 服务器 收集数据。
这些黑暗数据来自哪里?
Tully：黑暗数据的创建方式分为两类。一个是数据根本没有被收集-这是一种僵尸数据。通常情况下，这发生在企业引入新服务器时，特别是在临时服务器和无服务器的情况下。企业很容易将这些服务器联机并非常快速地再次关闭它，而没有收集任何日志。
第二种情况是，人们因为各种原因收集数据，例如合规原因或者只是为了睡个安稳觉，然后就不再使用这些数据。这属于“未使用”数据类别。
另一方面，尽管企业有很高比例的黑暗数据，但他们仍然觉得数据技能非常重要。最后的原因是，大家普遍认为，使用AI可能是控制黑暗数据向前发展的方式。
鉴于数据隐私立法的激增，当企业发现黑暗数据时，应该做些什么呢?目标是使用它还是破坏它?
Tully：我认为这是两者的结合。如果你有数据在那里而没有被查看，那么，企业就失去机会来提升安全性。例如，你希望查看防火墙日志，并了解入站TCP连接，以及了解您正在受到谁的攻击。因此，从安全的角度来看，这意味着失去很好的机会。
另一方面，如果企业利用这些数据，则可以更好地构建AI驱动的模型，并更好地确定如何进行威胁建模和异常检测。这是我在上一家公司看到的事情，从网络安全的角度来看，这有很大的影响。
黑暗数据对网络安全有什么影响?
Tully：最明显的影响就是不使用这些数据。如果你已经收集了数据并且没有对它进行任何操作，甚至不查看日志，那么，这可能是一个可怕的错误。你想知道是否正在遭受攻击，如果你没有实际查看黑暗数据，你怎么知道人们试图攻击你?这有点像先有鸡还是先有蛋的问题。
其次，还会有大量未收集的数据，这里的问题不是你不查看数据，而是你根本不收集。你将临时服务器联网，天知道这些日志中发生了什么。如果你没有使用数据，甚至没有看到或收集数据，你就没有办法建立强大的网络安全态势。
除了未被查看的日志文件，人们是否还应该在其他地方寻找黑暗数据?
Tully：当然。我想到的是人们携带自己的各种设备连接企业网络的情况。我个人而言，每天都会带四五台设备到办公室，并且，这些设备都会联网，考虑到这些设备的短暂性，我认为它们很快就会上线和离线，这里容易产生黑暗数据。我想知道企业是否会利用这些数据。
这些BYOD设备中包含哪些黑暗数据?
Tully：你的个人设备、你的手机、你的平板电脑。我时不时会携带个人笔记本电脑来做一些非工作的东西。但人们正在连接互联网;他们正在下载东西;他们可能会把恶意软件带到办公室;而这些设备会产生大量日志。你希望能够检测到网络中这些客户端正在做什么及它们正在查看什么，以及它们带来的恶意病毒。
黑暗数据是否容易被攻击者利用，而未被企业检测到?
Tully：我认为企业正在记录或收集的任何数据，无论是否黑暗，都容易受到攻击者的攻击，因此我认为答案是肯定的。 这些数据存在风险因素，它们处于休眠状态，并且，攻击者会希望利用它们。
人们对黑暗数据应该做的第一件事是什么?识别、整理和存储，还是应该先考虑他们是否可以或应该使用这些数据?并且，如果他们不需要它，他们应该找到一种方法来消除这些数据吗?
Tully：所有这些问题可以总结为，企业需要更好的数据管理。本周我在华盛顿特区参加了几个小组讨论，其中一个问题是：“现在大数据领域面临的最大挑战是什么?”除了整合多个系统以从开源领域获得合理的解决方案外，那些取得成功的企业通常具有强大数据管理流程。也就是说，了解正在收集哪些数据、收集数据的方式、数据中涉及的PII [个人身份信息]，然后确定谁正在使用这些数据及其目的，以及数据如何被利用。
数据管理可非常有效地帮助客户掌控他们的黑暗数据。
企业应该如何处理所有这些黑暗数据?
Tully：首先要确保他们在收集数据。大量数据被记录而未被收集，这些数据变成了僵尸数据，然后由于日志过期而逐渐删除。
企业应该做的是对这些数据部署强大的数据管理。数据会过期;确保PII应用到这些数据;然后，向内部人员教授新技能，以帮助他们应对这些数据。
在我们的调查中，企业领导者表示，恢复黑暗数据的主要障碍是数据量和缺乏必要的技能。这里的解决方案之一是提供培训。我经常看到这样的情况，无论数据是否是黑暗，海量数据都会淹没企业。而且当大多数分析师使用这些数据时，它会以仪表板的形式显示出来。通常情况下，仪表板让人们无所适从，他们在这种仪表板环境中会感到有点不愿意深入挖掘。
这里更多的是关于学习新技能并确保你拥有强大的数据管理。
为了处理这种类型的数据，人们应该学习哪些主要技能?
另外，编程技巧也非常重要。如果你想以不同的形式查看仪表板，你要做的一件事就是将基础数据集脱机，并对其进行一些轻量编码。一些轻量级的Python，一些轻量级的R -甚至在数据足够小的情况下将数据放入Excel，并且能够针对它编写宏，这些基本方法就足以处理这类数据。
什么是网络信息系统安全体系结构?
随着信息化进程的深入和互联网的快速发展，网络化已经成为企业信息化的发展大趋势，信息资源也得到最大程度的共享。 但是，紧随信息化发展而来的网络安全问题日渐凸出，网络安全问题已成为信息时代人类共同面临的挑战，网络信息安全问题成为当务之急，如果不很好地解决这个问题，必将阻碍信息化发展的进程。 1、安全攻击、安全机制和安全服务 ITU-T X.800标准将我们常说的“网络安全（networksecurity）”进行逻辑上的分别定义，即安全攻击(security attack)是指损害机构所拥有信息的安全的任何行为；安全机制（security mechanism）是指设计用于检测、预防安全攻击或者恢复系统的机制；安全服务（security service）是指采用一种或多种安全机制以抵御安全攻击、提高机构的数据处理系统安全和信息传输安全的服务。 三者之间的关系如表1所示。 2、网络安全防范体系框架结构 为了能够有效了解用户的安全需求，选择各种安全产品和策略，有必要建立一些系统的方法来进行网络安全防范。 网络安全防范体系的科学性、可行性是其可顺利实施的保障。 基于DISSP扩展的一个三维安全防范技术体系框架结构，第一维是安全服务，给出了八种安全属性（ITU-T REC-X.800--I）。 第二维是系统单元，给出了信息网络系统的组成。 第三维是结构层次，给出并扩展了国际标准化组织ISO的开放系统互联（OSI）模型。 框架结构中的每一个系统单元都对应于某一个协议层次，需要采取若干种安全服务才能保证该系统单元的安全。 网络平台需要有网络节点之间的认证、访问控制，应用平台需要有针对用户的认证、访问控制，需要保证数据传输的完整性、保密性，需要有抗抵赖和审计的功能，需要保证应用系统的可用性和可靠性。 针对一个信息网络系统，如果在各个系统单元都有相应的安全措施来满足其安全需求，则我们认为该信息网络是安全的。 3、网络安全防范体系层次 作为全方位的、整体的网络安全防范体系也是分层次的，不同层次反映了不同的安全问题，根据网络的应用现状情况和网络的结构，我们将安全防范体系的层次划分为物理层安全、系统层安全、网络层安全、应用层安全和安全管理。 1．物理环境的安全性（物理层安全） 该层次的安全包括通信线路的安全，物理设备的安全，机房的安全等。 物理层的安全主要体现在通信线路的可靠性（线路备份、网管软件、传输介质），软硬件设备安全性（替换设备、拆卸设备、增加设备），设备的备份，防灾害能力、防干扰能力，设备的运行环境（温度、湿度、烟尘），不间断电源保障，等等。 2．操作系统的安全性（系统层安全） 该层次的安全问题来自网络内使用的操作系统的安全，如Windows NT，Windows 2000等。 主要表现在三方面，一是操作系统本身的缺陷带来的不安全因素，主要包括身份认证、访问控制、系统漏洞等。 二是对操作系统的安全配置问题。 三是病毒对操作系统的威胁。 3．网络的安全性（网络层安全） 该层次的安全问题主要体现在网络方面的安全性，包括网络层身份认证，网络资源的访问控制，数据传输的保密与完整性，远程接入的安全，域名系统的安全，路由系统的安全，入侵检测的手段，网络设施防病毒等。 4．应用的安全性（应用层安全） 该层次的安全问题主要由提供服务所采用的应用软件和数据的安全性产生，包括Web服务、电子邮件系统、DNS等。 此外，还包括病毒对系统的威胁。 5．管理的安全性（管理层安全） 安全管理包括安全技术和设备的管理、安全管理制度、部门与人员的组织规则等。 管理的制度化极大程度地影响着整个网络的安全，严格的安全管理制度、明确的部门安全职责划分、合理的人员角色配置都可以在很大程度上降低其它层次的安全漏洞。
谈谈你对“信息资源”和“信息财富”的理解及如何才能使信息资源转化为信息财富.
信息资源是指网络或书籍报刊等一切可供大家利用的公共资源啊信息财富是指信息资源给我们带来的经济效益。 抓住机遇信息资源就可以变成社会财富，抓不住机遇它永远在资源的状态。 我认为有六个方面值得关注：首先应该是激活信息，知识形态不断创新，信息资源形态的创新；第二是资本形态正在创新，资源向财富转化的时候有一个从商品到资本的跃升。 第三是信息环境要创新；第四是产权制度的创新；第五要在市场方面做出创新，发挥信息资源在形成中国国际竞争优势方面起到作用；第六是文化内容的创新。 我们过去提的数据库都是一些冷冰冰的数据信息，但是现在出现新的趋势。
我有一些数据存在区块链上是安全的吗？
区块链的核心优势是去中心化，通过运用加密算法、树形结构和共识机制，在去中心化的分布式网络中建立信任关系，实现数据分布式多节点的加密存储，创造一种公开透明、不可篡改、可验证溯源的技术体系，让每个节点都能同步存证、共同监督，有效解决中心化模式下存在的可靠性差、安全性低等问题。
在互联网案件中，电子证据因为存证难、取证难、公证难成为互联网审判中的难题。 易保全利用区块链技术，可以很好地解决电子证据从产生、存证，到公证、举证等全链路可信问题：上链时，利用区块链保障存证数据的原始性和完整性；上链后，利用保全链上的各司法节点保障数据的可信任与安全性；诉讼时，证据直通互联网法院提高维权效率。
发表评论