数据仓库是存储数据的一种组织形式,它从传统数据库中获得原始数据,先按辅助决策的主题要求形成当前基本数据层,再按综合决策的要求形成综合数据层(又可分为轻度综合层和高度综合层)。随着时间的推移,由时间控制机制将当前基本数据层转为历史数据层。可见数据仓库中逻辑结构数据由3层到4层数据组成,它们均由元数据(Meta>服务器端完成各种辅助决策的SQL查询、复杂的计算和各类综合功能等。现在,一种越来越普遍的形式是三层结构,即在客户与服务器之间增加一个多维数据分析服务器。OLAP服务器能加强和规范决策支持的服务工作,集中和简化原客户端和DW服务器的部分工作,降低系统数据传输量,因此工作效率更高。
什么是OLAP(联机分析处理)
联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。
当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。下表列出了OLTP与OLAP之间的比较。
OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核心是”维”这个概念。
“维”是人们观察客观世界的角度,是一种高层次的类型划分。“维”一般包含着层次关系,这种层次关系有时会相当复杂。通过把一个实体的多项重要的属性定义为多个维(dimension),使用户能对不同维上的数据进行比较。因此OLAP也可以说是多维数据分析工具的集合。
OLAP的基本多维分析操作有钻取(roll up和drill down)、切片(slice)和切块(dice)、以及旋转(pivot)、drill across、drill through等。
◆钻取是改变维的层次,变换分析的粒度。它包括向上钻取(roll up)和向下钻取(drill down)。roll up是在某一维上将低层次的细节数据概括到高层次的汇总数据,或者减少维数;而drill down则相反,它从汇总数据深入到细节数据进行观察或增加新维。
◆切片和切块是在一部分维上选定值后,关心度量数据在剩余维上的分布。如果剩余的维只有两个,则是切片;如果有三个,则是切块。
◆旋转是变换维的方向,即在表格中重新安排维的放置(例如行列互换)。
OLAP有多种实现方法,根据存储数据的方式不同可以分为ROLAP、MOLAP、HOLAP。
ROLAP 表示基于关系数据库的OLAP实现(Relational OLAP)。以关系数据库为核心,以关系型结构进行多维数据的表示和存储。ROLAP将多维数据库的多维结构划分为两类表:一类是事实表,用来存储数据和维关键字;另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起,形成了”星型模式”。对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展称为”雪花模式”。
MOLAP 表示基于多维数据组织的OLAP实现(Multidimensional OLAP)。以多维数据组织方式为核心,也就是说,MOLAP使用多维数组存储数据。多维数据在存储中将形成”立方块(Cube)”的结构,在MOLAP 中对”立方块”的”旋转”、”切块”、”切片”是产生多维数据报表的主要技术。
HOLAP表示基于混合数据组织的OLAP实现(Hybrid OLAP)。如低层是关系型的,高层是多维矩阵型的。这种方式具有更好的灵活性。
还有其他的一些实现OLAP的方法,如提供一个专用的SQL Server,对某些存储模式(如星型、雪片型)提供对SQL查询的特殊支持。

OLAP 工具是针对特定问题的联机数据访问与分析。它通过多维的方式对数据进行分析、查询和报表。维是人们观察数据的特定角度。例如,一个企业在考虑产品的销售情况时,通常从时间、地区和产品的不同角度来深入观察产品的销售情况。这里的时间、地区和产品就是维。而这些维的不同组合和所考察的度量指标构成的多维数组则是OLAP分析的基础,可形式化表示为(维1,维2,……,维n,度量指标),如(地区、时间、产品、销售额)。多维分析是指对以多维形式组织起来的数据采取切片(Slice)、切块(Dice)、钻取(Drill-down和Roll-up)、旋转(Pivot)等各种分析动作,以求剖析数据,使用户能从多个角度、多侧面地观察数据库中的数据,从而深入理解包含在数据中的信息。
根据综合性数据的组织方式的不同,目前常见的OLAP主要有基于多维数据库的MOLAP及基于关系数据库的ROLAP两种。MOLAP是以多维的方式组织和存储数据,ROLAP则利用现有的关系数据库技术来模拟多维数据。在数据仓库应用中,OLAP应用一般是数据仓库应用的前端工具,同时OLAP工具还可以同数据挖掘工具、统计分析工具配合使用,增强决策分析功能。
【编辑推荐】
怎样理解合作关系(partnership)和商业智能系统(business intelligence system)的关系
楼主你好!合作关系:全面建设合作关系/建设合作关系/全面战略合作关系/战略合作关系/战略协作关系商业智能,又称商务智能,英文为Business Intelligence,简写为BI。 商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。 这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。 而商业智能能够辅助的业务经营决策,既可以是操作层的,也可以是战术层和战略层的决策。 为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。 因此,从技术层面上讲,商业智能不是什么新技术,它只是数据仓库、OLAP和数据挖掘等技术的综合运用。 商业智能的概念于1996年最早由加特纳集团(Gartner Group)提出,加特纳集团将商业智能定义为:商业智能描述了一系列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。 商业智能技术提供使企业迅速分析数据的技术和方法,包括收集、管理和分析数据,将这些数据转化为有用的信息,然后分发到企业各处。 目前,学术界对商业智能的定义并不统一。 商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。 这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商资料及来自企业所处行业和竞争对手的数据,以及来自企业所处的其他外部环境中的各种数据。 而商业智能能够辅助的业务经营决策既可以是操作层的,也可以是战术层和战略层的决策。 为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。 因此,从技术层面上讲,商业智能不是什么新技术,它只是数据仓库、OLAP和数据挖掘等技术的综合运用。 可以认为,商业智能是对商业信息的搜集、管理和分析过程,目的是使企业的各级决策者获得知识或洞察力(insight),促使他们做出对企业更有利的决策。 商业智能一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成。 商业智能的实现涉及到软件、硬件、咨询服务及应用,其基本体系结构包括数据仓库、联机分析处理和数据挖掘三个部分。 因此,把商业智能看成是一种解决方案应该比较恰当。 商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理,以保证数据的正确性,然后经过抽取(Extraction)、转换(Transformation)和装载(Load),即ETL过程,合并到一个企业级的数据仓库里,从而得到企业数据的一个全局视图,在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理(这时信息变为辅助决策的知识),最后将知识呈现给管理者,为管理者的决策过程提供支持。 提供商业智能解决方案的著名IT厂商包括微软、IBM、Oracle、Microstrategy、Business Objects、Cognos、SAS等。 希望能够对你有所帮助```
IT是什么职业?
IT(Information Technology,即信息技术)的基本概念和所指范围。 IT实际上有三个层次:第一层是硬件,主要指数据存储、处理和传输的主机和网络通信设备;第二层是指软件,包括可用来搜集、存储、检索、分析、应用、评估信息的各种软件,它包括我们通常所指的ERP(企业资源计划)、CRM(客户关系管理)、SCM(供应链管理)等商用管理软件,也包括用来加强流程管理的WF(工作流)管理软件、辅助分析的DW/DM(数据仓库和数据挖掘)软件等;第三层是指应用,指搜集、存储、检索、分析、应用、评估使用各种信息,包括应用ERP、CRM、SCM等软件直接辅助决策,也包括利用其它决策分析模型或借助DW/DM等技术手段来进一步提高分析的质量,辅助决策者作决策(强调一点,只是辅助而不是替代人决策)。 有些人理解的IT把前二层合二为一,统指信息的存储、处理和传输,后者则为信息的应用;也有人把后二层合二为一,则划分为前硬后软。 通常第三层还没有得到足够的重视,但事实上却是唯有当信息得到有效应用时IT的价值才能得到充分发挥,也才真正实现了信息化的目标。 信息化本身不是目标,它只是在当前时代背景下一种实现目标比较好的一种手段。 卡尔的IT是指什么呢?在那篇文章里面他并没有明确提出,不过他提到信息技术的核心功能--数据存储、处理和传输。 从他推理的逻辑来看,即从蒸汽机、铁路、电报电话、电力等基础设施建设推过来的,还用摩尔定律来佐证主机和光纤的发展。 如果他就此打住,只从这一点出发,他的逻辑论证是非常严谨的,后面对《IT不再重要》发表不管支持与反对评论的人,在这一点上都是基本认同的(除了那些硬件和网络厂商外),笔者也认同这一点。 整个文章里他对物化的IT基础设施建设部分关注很多,基本没有关注应用层面。 但后面他讲到大众化趋势时,又提到“信息技术极易复制”,则把IT又推到了商业软件,这里已经迈出了“危险”的一步。 在2004年他出版同名书时开篇就定义了他研究、类比过来的IT,“我用的‘IT’是指通常意义上的,即所有被用来以数字形式存储、处理和传输信息的硬件和软件,特别强调的是,我只是指技术本身,我指的‘IT’并不包括技术中流动的信息和那些使用技术的人才技能”,所以他所指的IT是指前二层。 如果就这此打住,可能还是不会有太大争议(这次又加上那些难受的软件厂商)。 客观地分析软件本身的特征,的确不具备核心竞争力的四个判断标准中的三个即:稀缺性、不易复制性、不易替代性,卡尔本人也没有否认而且是在强调IT具备核心竞争力的第四个判断标准,即有价值。 但他偏偏又把题目定成了“IT不再重要”,几欲把整个IT一棍子打死! 可惜他在IT这一概念上是经常含混不清:一会儿指主机网络,一会儿又跑到软件,在他后来出版的书里甚至经常“一不小心”就迈到了第三层,完全违背了他在书开头所界定的IT范围,如论述信息技术的应用、对CIO发出的诘问等。 有很多读者、包括哈佛商业评论的编辑当时就指出了这一点。 后面其它很多人也因为这一点来攻击他,甚至有人说卡尔干脆就不懂IT,有可能是真的,因为他毕竟本来就不是做IT的。 这也给我们搞研究的人也给予很大的启示和警醒,对自己不太熟悉的领域套用其它方法来研究时要特别小心,否则会闹出很多笑话。 这里笔者要强调一点,经常有软件厂商(国内外的都有)宣称上了信息化就能如何如何,就能加强企业核心竞争力(反正多是现在流行什么就跟什么,“与时俱进”)。 不知道他们是有意还是无意,且不按核心竞争力判断的四个标准来推断,试反问几个简单的问题:如果上了信息化就能如何,有多少上了信息化的企业已经亏损甚至倒闭?尤其是那些宣称有几十万家客户使用他们软件的软件企业该问问自己。 如果上了信息化就能如何,那么我们假设入库、出库、销售、库存等信息全是准确的,就能自动提高销售、降低库存吗?如果说没有上信息化之前,老板可能还可因为看不见而糊涂但幸福地过过日子,那么现在呢?只是痛苦地知道有如此多的库存在仓库里呆了如此长的时间,如此多的商品长时间占据着柜台却没有带来任何销售额更不要说利润!分析一下软件厂商们宣传“信息技术是企业的核心竞争力”的现象,结论只有两个:要么这些企业不懂什么是核心竞争力(我想应该大多数还是懂的,既希望他们懂又希望他们不懂,希望结果是懂是因为至少软件企业还能懂一些管理理念而不是埋头纯粹一技术性公司,希望结果是不懂是因为这样可以少被别人攻击没有职业道德,不知者不为过嘛),要么是另有所图。 一般企业客户与IT企业之间存在严重的信息不对称问题。 IT企业与企业客户之间的博弈,最后的结果往往会是次优选择,即所谓的“柠檬效应”。 在这点上,除了IT企业和从业人员要提高自身的职业操守外,政府或行业必须加强对信息化建设的培训教育,提高企业对信息化建设的认识,引进管理咨询公司、监理公司等来改变这一博弈结局,以达到新的平衡,促进IT业更健康的发展。 信息技术本身只是一个工具,就象一柄利剑或一枝好笔,买了它并不能一定保证你武功增进多少、字写漂亮多少,还需要你不断地去练习如何舞剑、如何写字,信息化建设也需要你不断地提升运用信息的能力,这才是真正核心也是最难的地方。 功夫全在题外!信息化(数字化)目的并不是上系统拿几个数字,它只是基础,其核心在一个“化”字,把各种资源相关的信息整合起来后进行“合理化”、“优化”的配置。 譬如用历史信息来辅助做销售预测、采购计划、生产计划、配送计划、库存计划,并按照这些计划下达指令并根据实际运行情况滚动修正计划。 美国哈林顿(Joseph Harrington)博士提出的计算机集成制造(Computer Integrated ManufactURIng,CIM)包含两个基本观点:一是企业生产的各个环节包括市场分析、产品设计、加工制造、经营管理和售后服务等是一个不可分割的整体,必须紧密相连、统一考虑;二是整个运作过程实质上是一个数据的采集、传递和加工处理过程,最终产品可以看作是数据的物质表现。 如果上了信息系统却不用它来辅助决策,还是按照原来的运作方式运作,则信息系统的作用可能只是限于解放某些岗位的某些工作,如统计报表等,且同时还会增加另外一些岗位的工作。 大量经验表明,如果不用信息系统收集上来的数据,要实现用来辅助决策的准确、及时、完整的信息根本不可能,信息系统只有用它才可能逐步提高其准确性、及时性和完整性。 按照核心竞争力的评价标准,要构造核心竞争力,本质上只有整合能力才是,而且越外显的能力越容易被模仿。 冰山一角,露在外面的越少越不容易被模仿,越能构成核心竞争力。 就象哈佛商业评论编辑Hal Varian(加利福尼亚大学伯克利分校信息管理与系统系主任)指出的那样:“卡尔说IT正在商品化、不再提供竞争优势,这一点他是对的。 但知道如何有效使用IT还是一种非常稀缺的技能。 ”“提供竞争优势的不是IT本身,而是那些知道如何有效利用它的人。 ”“公司在花成千上万的钱在数据存储和获取客户交易数据上,但一大堆数据就躺在那儿、没有经过分析、没有使用,但是,在那些训练有素的分析人员手上同样的数据却能产生巨大的回报!”这是一个数据丰富的时代,但同时是一个知识贫乏的时代! 波士顿大学管理学院信息系统管理学教授托马斯·H.达文波特要把“过去的40年,更确切地描述为‘数据时代’,而不是‘信息时代’”,“将数据转化为某种更有用的东西,需要相当多的人力投入和智慧,但大多数组织仅仅从技术的角度来看待这一问题。 拥有一个数据库或数据挖掘系统,与拥有其它技术一样,是必要的,但对于高质量的信息和知识而言,则是不够的”。 所以这里我们有必要明确一下一些经常混淆的基本概念。 数据(Data)=事实的记录,如上季度甲系列产品在华东地区销售额为120万。 信息=(Information)=数据+ 意义,如上季度甲系列产品华东地区销售额比去年同期减少了25 %。 智能(Intelligence)=信息+理解(understanding)与推理(reasoning),如分析原因是华东地区销售单位不行,或甲系列产品进入了衰退期,还是公司整体营销活动落后,竞争者强力促销导致?或是其它原因。 知识(Knowledge) =解决问题的技能(skill),针对这一问题公司应对的策略是什么? 智慧(Wisdom) =知识的选择(Selection) 应对的行动方案可能有多种,但(战略)选择哪个*智慧。 行动则又会产生新的交易数据。 数据、信息、智能、知识、智慧、行动与管理活动的关系见下图,事实上它们之间存在多重循环关系。 图1 数据、信息、智能、知识、智慧、行动与管理活动之间的关系 同样的高速公路、同样的高档车,开车的人不同将会开出完全不同的水平,这时更关键的因素--开车的本事就显得至关重要了。 在初级阶段,竞争比较粗放,可能主要是看谁能修好道,买好车。 到后面,大家硬件基础设施差不多,竞争日趋白热化,这个时候人的作用就突显出来了,光有好道好车还不行,还得有舒马赫这样的顶级选手才能赢得比赛。 企业经营与赛车还不太一样,赛车有人制定规则,规定只能跑一样的道,企业之间的竞争是八仙过海各显神通,有钱的就可以买高档的服务器、小型机,没有钱的就只能买PC服务器;有钱的就可以用光纤宽带,没有钱的则只能用ADSL甚至拨号;有钱的可以花几千万去买SAP、Oracle,没有钱的则只能用用金蝶、用友,甚至只有一些基本功能的小的进销存或财务软件;有钱的可以请五大帮他们制定符合未来趋势的战略并进行培训,没有钱的则只能*企业家自己摸着石头过河……的确,这是一场不太公平的竞争。 但网络经济来了,用卡尔的话说,就是IT技术已经变得“大众化”,已变成商品。 更何况ASP模式的出现,将极大的降低了企业信息化的门槛,昂贵的服务器、网络、软件费用的门槛被一下子降低了。 好比虽然你有私家的宝马、奔驰,可以很快地到达你想要到的地方。 但我也可以坐出租车差不多也能实现同样的效果,再差点儿我有公共汽车、地铁,只要很低的成本也能基本实现我的目标。 但同样的宽带、同样一套系统软件,但使用的人一样,效果却完全不一样,君不见同样是使用SAP、Oracle或者金蝶、用友,有很成功的,也有很失败的?还是那句话,功夫在诗外!
联机分析处理的功能有哪些
联机分析处理(OLAP)通过快速、一致、交互地访问各种可能的信息视图,帮助数据分析人员、管理人员、决策人员洞察数据的奥秘,掌握隐藏于其中的规律。 OLAP力图处理数据仓库中浩如烟海的数据,并将之转化为有用的信息,从而实现对数据的归纳、分析和处理,帮助企业完成决策。 OLAP支持最终用户进行动态多维分析,其中包括跨维、在不同层次之间跨成员的计算和建模;在时间序列上的趋势分析、预测分析:切片和切块,并在屏幕上显示,从宏观到微观,对数据进行深入分析;可查询到底层的细节数据;在观察区域中旋转,进行不同的维间的比较。
发表评论