区块链在大数据中的应用 (区块链在大数据安全应用的)

技术教程 2025-05-10 21:45:08 浏览
区块链在大数据中的应用

背景

近些年,大数据技术在科学和工业领域的应用引起了业界的广泛关注,大数据促进社会进步的同时,也带来很多的问题和挑战,尤其是大数据治理和隐私保护问题。区块链技术具备去中心化、不可篡改、透明化等特征,在改善大数据安全服务方面具有巨大的潜力。在本文中,我们首先为读者介绍区块链大数据技术概念、特性以及二者结合的动机,接着介绍区块链大数据在工业界的应用,最后对一些代表性的项目进行分析。

区块链大数据概述

区块链

随着比特币为代表的新型数字货币的快速发展,作为比特币底层支撑的区块链技术引起了人们的关注,区块链概念首次提出是在比特币白皮书中[2]。区块链本质上是一个共享数据库,与传统的中心化数据库相比,区块链通过采取分布式数据存储、P2P传输、共识机制、加密算法和智能合约等传统技术,使得区块链具有去中心化、不可篡改、可溯源、多方维护、公开透明等特点[3]。基于这些特点,区块链奠定了坚实的“信任”基础,创造了可靠的“合作”机制,具有广阔的运用前景。

大数据

大数据技术起源于2000年前后互联网的高速发展时期。伴随着时代背景下的数据特征的不断演变以及数据价值释放需求的不断增加,大数据已逐步演进成针对大数据的多重数据特征,围绕数据采集、存储、处理计算,同时配套的数据治理、数据分析、数据安全等助力数据价值释放的周边技术组合形成的整套技术生态。如今大数据技术已经发展成覆盖面庞大的技术体系。图1展示了大数据技术体系图谱及相关代表性的大数据开源软件。

图1 大数据技术体系及主要开源框架

大数据时代,客户更倾向于在线交易,每天将产生大量的交易信息,累计的数据呈指数增长,为行业了解客户的需求、购买模式和客户趋势创造了新的机会。大数据具有体量大、时效性高、数据源异构多样和价值高等特点。通过大数据技术分析各类数据信息,将产生巨大的价值,指导国家和企业决策。大数据技术便利人类生活的同时,也带来了很多的问题与挑战,如数据隐私安全问题,脏数据处理、数据源可靠性验证、数据共享等。

区块链、大数据结合动机

区块链在大数据安全应用的

大数据技术在解决当下许多问题方面具有巨大的潜力,目前政府、国私企正大力投资建设部门的大数据中心,以此来提高对外的服务质量。区块链技术具备的很多独特性质,可以用于解决以上大数据面临的这些挑战。

区块链和大数据技术结合动机的详细描述如下:

保障数据的安全:区块链以其不可篡改,可信任何公开透明性,让更多的数据安全流动起来。典型案例是区块链如何推动大数据基因测序,区块链大数据测序利用私钥限制访问权限,降低了利用法律限制个人获取基因数据的局限性,并且利用分布式计算资源,高效完成测序任务,区块链的安全性解决了基因测序的工业化问题,推动了数据的安全流动。

保障数据隐私的安全:政府掌握了大量的高密度、高价值数据,如人口数据、金融数据、医疗数据等,正确使用政府数据将对整个经济社会发展产生不可估量的推动力,开放数据是大势所趋。然而,数据开放主要的问题是如何保护个人隐私。基于区块链的数据脱敏技术能保证数据隐私性,为隐私保护下的数据开放提供了解决方案。数据脱敏技术主要采用哈希处理等加密算法,例如、基于区块链技术的Enigma系统,在不访问原始数据的情况下进行运算,可以对数据的私密性进行保护,杜绝数据共享中的隐私安全。

保障数据存储的安全:区块链网络中所有节点参与计算,相互验证其信息的真伪以达成全网共识。区块链的数据是不可篡改的、记录历史的,修改区块链网络中的数据至少需要修改50%节点的数据,区块链的不变性确保了存储在区块链网络中的数据是可靠的,使得数据库的发展进入新时代。

区块链在大数据安全应用的

保障数据完整性:数据的访问者可能会篡改大数据中的记录,从而影响大数据分析预测的结果,区块链技术通过采取多签名私钥、加密技术和安全多方计算技术来保障数据不完整性。数据首先通过哈希计算,放置在区块链上,再使用数字签名技术,一方面使得数据仅对授权用户开放,使用者通过签名验证数据的完整性。

区块链大数据应用

如图2所示,通过调查大数据环境下区块链技术的应用,包括大数据的采集、存储、分析和隐私保护等,区块链通过共识算法确保数据的完整性。接下来重点分析了区块链大数据服务中的两个子领域应用,区块链大数据收集架构:移动感知(Mobile croWDSensing,MCS)区块链,区块链大数据传输/共享架构:边缘网络区块链。

图2 大数据环境下区块链的应用概览

MCS区块链

数据采集是数据处理生命周期中一项非常重要的任务,目前数据源和通信链路面临各种恶意攻击和威胁。因此安全的数据收集方法对于各种数据至关重要,目前全球已完成了几项数据收集安全的研究工作。例如,基于区块链的安全大数据收集方案被应用到移动感知(Mobile crowdsensing,MCS)项目。随着移动终端(mobile terminals,MT)和传感器等便携式智能移动终端设备的快速增长,MCS已经有效地应用到工业物联网当中,MCS 服务器 发布一些与传感器相关的数据集,并选择特定区域的MT来完成特定任务。任务的主要挑战是MT中传感设备的发送数据范围以及MT之间数据的安全共享。Liu[4]等提出了一个基于区块链和强化学习(DRL)的框架来克服这些挑战,每个MT基于分布式区块链的DRL方法为传感设备提供了多点发送功能以及最大传输范围。以太坊区块链平台用于保障数据的可靠性和安全性,MT进行共享数据。以太坊会维护一个安全账本,并在没有受信任的第三方情况下与合作的MT共享数据,该框架还集成了预防多种攻击和处理常见的设备故障的功能。

边缘网络区块链

区块链具有去中心化和不可篡改的特性,能提供大数据的安全传输,支持可靠数据共享。传输安全关键在于如何解决传统传输协议中存在的不足,如何防止数据被盗、数据丢失。目前国内外,有一些研究致力于使用区块链来支持大数据的传输和共享,随着边缘网络中数据量越来越大,边缘网络中敏感数据的安全共享是一项具有挑战的任务,Xu[5]等通过共识算法提高边缘网络认证计算的效率。此外,为了减少响应时间和存储开销,作者引入了一种基于区块链的无效事务过滤算法,使得访问者可以通过缓存层来访问数据。最后作者提出了快速交易和空心快,以提高模型的网络传输效率。应用层如图3所示,将采集到的数据报告、数据库、社交媒体或辅助小工具数据添加到带有签名和哈希值的区块链中,采取一致共识算法和无效事务过滤算法进行处理,然后与数据分析服务共享区块数据。实时分析模块进行数据可视化、模式预测,相互协作保障计算结果的真实可靠。

图3 区块链大数据安全传输/共享架构

小结

区块链被称为一种颠覆性的技术、数字化的分布式账本、本质上又是一种共享数据库,公开透明的按照顺序的记录比特币等加密货币的交易,具有很多优势。大数据是互联网时代的产物,区块链与大数据技术的结合成为当下的热点,在本文中,主要介绍了区块链和大数据的概念以及优点,通过现有的相关调查,了解现有研究在区块链和大数据方面的贡献以及二者结合的动机,讨论了目前区块链大数据在工业界的一些应用,最后对本文进行总结。

参考文献

[1] Deepa, N., Pham, Q. V., Nguyen, D. C.,Bhattacharya, S., Prabadevi, B., Gadekallu, T. R., … & Pathirana, P. N.(2022). A survey on blockchain for big>


在生产管理上FCST是指什么

在生产管理上FCST是指预估的意思,是Forecast的简称。 生产管理对企业生产系统的设置和运行的各项管理工作的总称。 又称生产控制。 其内容包括:①生产组织工作。 即选择厂址,布置工厂,组织生产线,实行劳动定额和劳动组织,设置生产管理系统等。 ②生产计划工作。 即编制生产计划、生产技术准备计划和生产作业计划等。 ③生产控制工作。 即控制生产进度、生产库存、生产质量和生产成本等。 生产管理的任务有:通过生产组织工作,按照企业目标的要求,设置技术上可行、经济上合算、物质技术条件和环境条件允许的生产系统;通过生产计划工作,制定生产系统优化运行的方案;通过生产控制工作,及时有效地调节企业生产过程内外的各种关系,使生产系统的运行符合既定生产计划的要求,实现预期生产的品种、质量、产量、出产期限和生产成本的目标。 生产管理的目的就在于,做到投入少、产出多,取得最佳经济效益。 而采用生产管理软件的目的,则是提高企业生产管理的效率,有效管理生产过程的信息,从而提高企业的整体竞争力。

公司在精益6sigma管理培训中,如何应用改善工具寻找并清除隐藏的时间陷阱呢?

应用精益6西格玛寻找并清除隐藏的时间陷阱:寻找时问陷阱不能靠猜。 你必须利用数据来找出流程中时间延迟的根源。 精益6西格玛关于供应链加速的第一定理中记录了这个重要的等式:客户需求速度=最低批量/工作站周转时间还可以利用下列方程式来表示:延迟时间=工作站周转时间/2=最低批量/2*客户需求速度关键要记住,你可以利用在工序中收集到的相当简单的数据来确定该工作站是否在流程中加进了很长的延迟时间。 利用电子数据表格和专门的“供应链加速器”软件可以轻易地执行计算,其结果会告诉你每个工作站所增加的延迟时间为多少,而且为满足客户的需要,实际需要多少在制品、批量应该有多大。 在这个案例中,这家公司了解到了冲压就是时间陷阱,因此他们应用了相应的精益6西格玛工具。 此时的选择显而易见:零件之间准备时间过长促使操作者以1 000的批量进行加工。 要想降低准备时间,他们最好运用四步快速设置法。 ①该方法可以使他们以较少的支出将准备时间减少90%;②较快的设置可以大大降低周转时间。 通过第一定理的方程式计算,探作人员发现,他们可以将批量由1000降至100,而且仍可满足客户的需要;③流程的延迟时间由28小时降至2.8小时;④在制品总库存由2000个零件降至200个零件。 自然地,工作站改善后,公司不会以此为满足。 他们最好接着转向流程其他部分中的第二大时间陷阱,然后是第三大的时间陷阱,以此类推,直到公司达到了25%或更高的周期效率。 实现这种水平的效率意味着公司可以消除大量不产生价值的间接制造费用和质量成本。 结论:时间陷阱是流程中引起延迟的原因。 你不能只看什么地方发生了物料的积压,你必须利用精益6西格玛的第一定理计算出所有工作站为流程增加的时间是多少。 关键的视角:必须利用流程参数来计算批量和各特定工作站所生产的总零件数。 通过下列三个步骤,可以将从冲压到装配的操作流程提前期由28小时降至2.8小时:①找出时间陷阱;②应用精益6西格玛改进工具;③减小批量。 最后一步至关重要:如果公司没有减小批量,那么延迟时间不会产生实质性的改观,而且在制品库存量也会几乎毫无变化。 大批量会造成缺乏灵活性,工作站转产新零件的速度越快,所需的批量就越小,流通的速度就越快。 大多数生产流程的工厂缺乏灵活性,所以必须大批量生产来满足生产需要。 学会运用精益6西格玛,你就会了解到流动速度、批量和工作站周转时间都是盘根错节相互关联的。 所有能够对这些因素中的某一个产生影响的因素,都会影响到其他因家。 这说明应该依据流程参数来确定批量,并且随着流程的改进来改变批量。 流程参数包括准备时间、单位加工时间和最为重要的这一流程所生产的不同零件的种类等等。

关机、待机、休眠各运用在哪些场合

关机:操作系统结束所有程序,保存应该保存的东东,关闭windows,关闭电源。 重新启动时得重新初始化所有硬件软件,好处是干净,坏处的对机器慢的来说,得等。

休眠:操作系统将当前windows的内存写入硬盘,然后关闭电源,再次启动时直接从硬盘读取数据到内存,复原休眠时的状态。 好处是:休眠及启动的速度快,随时休眠,保存当前的工作状态,不用担心数据丢失。 休眠和待机的原理都是把内存的东西保存住,下次就可以不用重新加载操作系统,但他们最大的不同是前者把内存中的数据临时保存到硬盘中,下次开机就直接加载硬盘中的内存数据到内存中,这样电脑就恢复到休眠前的状态了,电脑在休眠是完全断电了的。 待机电脑不会完全断电,但是关闭绝大部分电源除了内存和fan,因为内存一旦断电数据就会全部丢失了。 当唤醒的时候其实是恢复对其他部件的供电而已。 通俗地说,休眠就是当前运行情况及内存全部保存到硬盘上,睡觉去了,下次醒来回来这个状态继续工作。 而待机就是不睡觉,却闭着眼睛,内存的东西还在内存里面,不要硬盘空间,拍一下就继续工作。 一般小于1小时使用待机,否则使用休眠,假如没有什么事情就请关机,即使是待机或休眠状态也是会耗电的。 有事情离开片刻请关闭显示器,这样比起使用屏保更加节能。

本文版权声明本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请联系本站客服,一经查实,本站将立刻删除。

发表评论

热门推荐