一个公司的业务运营，不论规模大小，什么行业，都离不开数据的支撑。既然要数据，那么就得取数，谁来取数，怎么取?可能是一个销售人员在用Excel取，可能是一个DBA从生产数据库中查，也可能是一个数据开发人员写SQL或者写程序从数据仓库中取。
作为一个多年从事数据相关的开发者，深受“临时数据提取”之苦，自己也是用尽十八般武艺，目的就是想尽可能的解决取数难、取数慢的问题。在此总结一下多年来对于取数的一些方法(更多是针对公司有自己的数据团队)，大概包含以下几个方面：
固定报表
固定报表是最常见、最简单的取数方式。通常是需求方在经过对数据调研之后，形成固定的数据报表需求，然后提给数据开发团队，由数据开发团队安排资源实施完成。报表形成后，定期更新数据，报表一般通过Web界面(自研或者使用开源)来呈现，有些则是通过邮件(Excel)方式每天定时发送。
OLAP系统
然而需求方的数据需求并不总是固定格式的，他们希望从所有可能的维度去探索数据，因为很多时候，他们自己一开始也不知道最终想要的数据。这时候，依靠固定报表显然无法满足需求。
OLAP系统开始发挥他们的长处，数据开发团队依据业务和数据，在OLAP系统中设计相应的CUBE，定期更新，而需求方则可以在OLAP系统中，基于设计好的CUBE，自己选择需要查询的维度、指标、条件等等，进行探索分析查询。
一个比较好的OLAP系统需要依赖以下方面：规整的数据仓库模型(事实表、维度表)，不错的OLAP引擎，Nice的OLAP前端工具。
自助分析系统
为了进一步减少数据开发的工作量，让需求方能更加自助和自主的去完成一些取数。用户可以自己上传Excel、文本，接入数据仓库数据，接入自己数据库数据，自助建模(相当于定义Cube)，然后来探索分析数据。
另外，该系统也适用于那些没有数据开发团队的小公司。
自助取数系统
慢慢的，又遇到问题了。OLAP系统和自助分析系统，都需要定义CUBE，而CUBE对数据模型(事实表，维度表)有一定的要求。对于一些数据需求，很难固化成数据模型去支持查询。
刚开始，直接提供SQL接口让需求方去提交SQL去查，但问题是他们不太会SQL，即使会，提交过来的SQL执行性能很有问题。因此，我想增加一种功能，让需求方只去操作界面，后台根据界面操作，转换成SQL去执行。这个问题看似简单，但是我想做的更灵活简单一些。
数据开发人员去配置一个自助取数模板，这个模板核心由一段SQL和一些变量组成。
变量有三种类型：维度、指标和常量。
数据开发人员定义好模板后，需求方可以在自助取数任务页面使用模板，提交取数任务。
在取数任务页面，常量是必填字段，维度和指标可以随意组合选择，也可以增加过滤条件。选择好后，由后台根据任务条件，替换模板中的变量，生成SQL，产生结果供下载。
这个过程，更像是一个动态虚拟CUBE，虽然离线运行SQL并生成结果需要一段时间，但灵活性更好，也收到了比较好的效果。
临时数据提取需求
尽管为了满足取数需求，减少数据开发工作量，我们做了上面很多的努力，但仍然有小部分的需求，需要由数据开发人员来完成。
其实依靠平台化、系统化、自动化去解决80-90%的数据需求，已经非常不错了。
刨燥怎么办？
先检查一下，你是否具有以下特点： （1）一发火就骂人、砸东西，甚至打人。 （2）情绪反应十分简单，缺乏幽默感，不会开玩笑，对于满意的事沉默不语，对不满意的事常会通过吵架、发脾气等方式解决。 （3）面对生活中的挫折，心理防御的方式只有一种，就是发泄。 （4）对很小的事也沉不住气。 （5）火爆脾气一点就着，什么事都干得出来，当时不能自控，事后又特别后悔。 （6）听不进任何人的劝说，尤其在情绪激动的时候。 这些是易怒者的典型特征。 愤怒是可以控制的，火爆脾气也是可以改变的，关键在于掌握方法。 （1）情境转移法：当愤怒陡出时，人有五种处理怒气的方法，一是把怒气压到心里，生闷气；二是把怒气发到自己身上，进行自我惩罚；三是无意识地报复发泄；四是发脾气，用很强烈的形式发泄怒气；五是转移注意力以此抵消怒气。 其中，转移是最积极的处理方法。 火儿上来的时候，对那些看不惯的人和事往往越看越气，越看越火，此时不妨来个“三十六计走为上策”迅速离开使你发怒的场合，最好再能和谈得来的朋友一起听听音乐、散散步，你会渐渐地平静下来。 （2）理智控制法：当你在动怒时，最好让理智先行一步，你可以自我暗示，口中默念：“别生气，这不值得发火”、“发火是愚蠢的，解决不了任何问题。 ”也可以自己在即将发火的一刻时自己下命令：不要发火！坚持一分钟！一分钟坚持住了，好样的，再坚持三分钟！二分钟坚持住了，我开始能控制自己了，不妨再坚持一分钟。 三分钟都坚持过去了，为什么不再坚持下去呢？所以，要用你的理智战胜情感。 （3）评价推迟法：怒气来自对“刺激”的评价，也许是别人的一个眼神，也许是别人的一句讥讽，甚至可能是对别人的一个误解。 这事在当时你使“怒不可遏”，可是如果过一个小时、一个星期甚至一个月之后再评论，你或许认为当时对之发怒“不值得。 ” （4）目标升华法：怒气是一种强大的心理能量，用之不当，伤人害己，使之升华，会变为成就事业的强大动力。 要培养远大的生活目标，改变以眼前区区小事计较得失的习惯，更多地从大局、从长远去考虑一切，一个人只有确立了远大的人生理想，才能待人以宽容，有较大度量，不会容忍自己的精力被微不足道的小事绊住，而妨碍对理想事业的追求。
暑假读什么书
东野奎吾《白夜行》《解忧杂货店》人们将来困惑写成信投进杂货店，奇妙的事情即将发生，内心流失的东西被渐渐找回。 喜欢看悬疑小说的可以看看哦，每一部小说都值的瞧瞧滴刘慈欣《三体》以虚拟现实的方式，借用地球文明的外套，讲述了三体文明二百次毁灭与重生的源传奇。 雨果《悲惨世界》人类苦难的百科全书钱钟书《围城》中国现代文学史上一部风格独特的讽bai刺小说，主要写抗战初期知识分子的群相。 马克·李维 《偷影子的人》一段缠绵多年的爱恋，一du段进行中的不完美爱情，一部令整个法国为之动容的温情疗愈小说。 古斯塔夫·勒庞 《乌合之众》观点新颖，语言生动，书中极为精致地描述了集体心态，对人们理zhi解集体行为的作用以及对社会心理学的思考发挥了巨大影响。 沈从文 《围城》《沈从文全集》这些你也可以去看看的，都挺不错的还有《一个dao人的朝圣》《月亮和六便士》《小王子》《百年孤独》也是可以的
骆驼祥子500字摘抄快快快
他的身量与筋肉都发展到年岁前边去；二十来的岁，他已经很大很高，虽然肢体还没被年月铸成一定的格局，可是已经像个成人了——一个脸上身上都带出天真淘气的样子的大人。 看着那高等的车夫，他计划着怎样杀进他的腰①（注释：①〔杀进腰〕把腰部勒得细一些。 ）去，好更显出他的铁扇面似的胸，与直硬的背；扭头看看自己的肩，多么宽，多么威严!杀好了腰，再穿上肥腿的白裤，裤脚用鸡肠子带儿系住，露出那对“出号”的大脚!是的，他无疑的可以成为最出色的车夫；傻子似的他自己笑了。 他没有什么模样，使他可爱的是脸上的精神。 头不很大，圆眼，肉鼻子，两条眉很短很粗，头上永远剃得发亮。 腮上没有多余的肉，脖子可是几乎与头一边儿②（注释：②〔一边儿〕即同样的。 ）粗；脸上永远红扑扑的，特别亮的是颧骨与右耳之间一块不小的疤——小时候在树下睡觉，被驴啃了一口。 他不甚注意他的模样，他爱自己的脸正如同他爱自己的身体，都那么结实硬棒；他把脸仿佛算在四肢之内，只要硬棒就好。 是的，到城里以后，他还能头朝下，倒着立半天。 这样立着，他觉得，他就很像一棵树，上下没有一个地方不挺脱的。 他确乎有点像一棵树，坚壮，沉默，而又有生气。 他有自己的打算，有些心眼，但不好向别人讲论。 在洋车夫里，个人的委屈与困难是公众的话料，“车口儿”上，小茶馆中，大杂院里，每人报告着形容着或吵嚷着自己的事，而后这些事成为大家的财产，像民歌似的由一处传到一处。 祥子是乡下人，口齿没有城里人那么灵便；设若口齿灵利是出于天才，他天生来的不愿多说话，所以也不愿学着城里人的贫嘴恶舌。 他的事他知道，不喜欢和别人讨论。 因为嘴常闲着，所以他有工夫去思想，他的眼仿佛是老看着自己的心。 只要他的主意打定，他便随着心中所开开的那条路儿走；假若走不通的话，他能一两天不出一声，咬着牙，好似咬着自己的心!他决定去拉车，就拉车去了。 赁了辆破车，他先练练腿。 第一天没拉着什么钱。 第二天的生意不错，可是躺了两天，他的脚脖子肿得像两条瓠子似的，再也抬不起来。 他忍受着，不管是怎样的疼痛。 他知道这是不可避免的事，这是拉车必须经过的一关。 非过了这一关，他不能放胆的去跑。 脚好了之后，他敢跑了。 这使他非常的痛快，因为别的没有什么可怕的了：地名他很熟习，即使有时候绕点远也没大关系，好在自己有的是力气。 拉车的方法，以他干过的那些推，拉，扛，挑的经验来领会，也不算十分难。 况且他有他的主意：多留神，少争胜，大概总不会出了毛病。 至于讲价争座，他的嘴慢气盛，弄不过那些老油子们。 知道这个短处，他干脆不大到“车口儿”上去；哪里没车，他放在哪里。 在这僻静的地点，他可以从容的讲价，而且有时候不肯要价，只说声：“坐上吧，瞧着给!”他的样子是那么诚实，脸上是那么简单可爱，人们好像只好信任他，不敢想这个傻大个子是会敲人的。 即使人们疑心，也只能怀疑他是新到城里来的乡下老儿，大概不认识路，所以讲不出价钱来。 以至人们问到：“认识呀?”他就又像装傻，又像耍俏的那么一笑，使人们不知怎样才好。 两三个星期的工夫，他把腿溜出来了。 他晓得自己的跑法很好看。 跑法是车夫的能力与资格的证据。 那撇着脚，像一对蒲扇在地上扇乎的，无疑的是刚由乡间上来的新手。 那头低得很深，双脚蹭地，跑和走的速度差不多，而颇有跑的表示的，是那些五十岁以上的老者们。 那经验十足而没什么力气的却另有一种方法；胸向内含，度数很深；腿抬得很高；一走一探头；这样，他们就带出跑得很用力的样子，而在事实上一点也不比别人快；他们仗着“作派”去维持自己的尊严。 祥子当然决不采取这几种姿态。 他的腿长步大，腰里非常的稳，跑起来没有多少响声，步步都有些伸缩，车把不动，使座儿觉到安全，舒服。 说站住，不论在跑得多么快的时候，大脚在地上轻蹭两蹭，就站住了；他的力气似乎能达到车的各部分。 脊背微俯，双手松松拢住车把，他活动，利落，准确；看不出急促而跑得很快，快而没有危险。 就是在拉包车的里面，这也得算很名贵的。
发表评论