SLIdeshare创始人：我们应用云计算的惨痛教训

2010-08-30 10:32:59对初创公司而言，云计算可谓是利器，因为只要通过鼠标点击就能一下子拥有几乎无限的计算能力，而且通过这些计算能力能够很好地开创新的机遇。通过鼠标点击就能一下子启动或者关闭上千台 服务器 是一个非常强大的能力，但就好象漫画书所教我们的那样“great power comes great responsibility（能力越大，责任越大）”。

对初创公司而言，云计算可谓是利器，因为只要通过鼠标点击就能一下子拥有几乎无限的计算能力，而且通过这些计算能力能够很好地开创新的机遇。通过鼠标点击就能一下子启动或者关闭上千台服务器是一个非常强大的能力，但就好象漫画书所教我们的那样“great power comes great responsibility（能力越大，责任越大）”。

我公司Slideshare在我们几乎所有的事情中都使用到了云计算，这也导致，我们在使用云计算方面也出现一些大错，下面是两个最明显的例子：

在没有试用之前就浪费了五千美元

几个月前，我们开始非常着迷于Hadoop，我们甚至在办公室中组织了一个Hadoop黑客日（Hackday），并非常迅速地编写一些Hadoop原型代码来对SlideShare用户的数据进行分析，

Hadoop分析本身是一个极为适合云计算的任务。虽然你需要一大堆电脑，但却仅需一天就能把所有的数据都给处理了。但当我们开始使用越来越多和越来越真实数据集来测试我们的原型代码时，它开始花费越来越多的时间来完成一个任务。

在那个时刻，我决定将机器的数目翻四倍（从20台升至75台）。这个决定是非常有意义的，如果一个任务需要100个计算时才能完成，那么100台机器就只需1个小时就能将这个任务快速地完成。

在我做这个决定的几小时后，一次大型站点事故引起所有工程团队人员的注意，为了解决处理这个事故和其它相关的事故，我们连续工作一个晚上和一个整天，最终直到周五的下午才全部搞定。在我们心安理得享受了一个周末之后，周一上班的时候我们发现在事故之前运行的Hadoop分析任务还在继续运行着。我们包含 bug的代码以一种我们没有预想到的方式失败了，以至于在这个问题上就算加入再多的硬件也解决不了这个问题，同时，我们收到了一张来自Amazon Web Service的五千美元的账单。

我们的教训是：如果你真正想使用云计算的力量，那么你需要不停地观测支出，并且确保它没有出现乱来的情况或者超出预算，特别当你快速地伸展和缩小使用云计算的规模时。不巧的是，Amazon Web Service并没有提供任何提醒或者图表工具来帮助用户简单地跟踪支出，虽然跟踪支出是一个牵涉到下载CSV文件，将它们导入Excel并进行分析的繁琐流程，但它却是不可或缺的。

使用云存储的麻烦

我们最近发现我们在存储（S3）方面的开支急剧地增大，经过多天的调查，发现我们在使用存储方面没有明确的原则，比如，一些可以被删去的文件还保留着；不同类型的文件被放置在同一个目录；还有些文件我们根本不知道它们的来源和它们还是否需要。

Amazon S3，和其它类似的云存储，都可以被认为是一个大型的文件系统，它们不会对数据的位置进行任何控制，它由使用者来确保这个存储是否被有条理的使用。如果一个人写代码，这是很简单，但是让一个团队来写多个依赖云存储的程序时，是很容易忘记删除某些文件的。你需要确保你们没有浪费存储，唯一的方法是需要非常明确地定义那些数据存放在那些地方。一个最佳实践是将不同类型的资源放置在不同的”bucket（桶，S3的最高层的目录）“，这也是唯一地能让你得到每种类型数据的占有空间的方法。

蜘蛛侠的原则

在上面两个例子中，我们知道了我们并没有很严格地使用云计算的力量，如果让我们之前借用硬件的话，我们也会触及硬件的限制（比如，磁盘空间用完），这是一件麻烦的事情，但去逼迫我们总结一下过去的行为，来更合理地支出。拥有强大的云计算力量是一件好事，但是如果你要使用它，就要有一定的责任心。

【小百科】

SlideShare（SlideShare.net）是一个分享演示文档的网络社区，被称为“演示文档版YouTube”。组织或个人可以在SlideShare社区上传和分享PPT、pdf或OpenOffice格式的演示文档。

任何人都可以在SlideShare分享演示文档。SlideShare同时还是一个社交和发掘内容的平台，用户可以找到相关的内容，还可以让使用者与拥有类似兴趣爱好的其他使用者建立联系。

现在在SlideShare，职业人士可以上传和分享关于他们谈话、宣传短片、介绍短片以及网上研讨会的视频。视频在这个平台上的功能跟幻灯片和演示文档一样，并可以分享到Twitter和Facebook，以及嵌入到博客和网站。职业人士还可以在全球最大的商务社交网站LinkedIn上使用SlideShare应用,与其同行们分享视频。

【编辑推荐】

大数据云计算就业前景怎么样?

目前大数据和云计算在技术体系上已经趋于成熟，正处在落地应用的初期阶段，相对于大数据来说，云计算技术的落地应用已经初具规模。 云计算的应用目前正在经历从IaaS向PaaS和SaaS发展，在用户分布上也逐渐开始从互联网企业向广大传统企业过渡，未来的市场空间还是非常大的。 云计算领域的相关岗位涉及到三大方面，其一是云计算平台研发；其二是云计算平台应用开发；其三是云计算运维，这些岗位的整体人才需求数量还是比较大的。 大数据领域的人才需求主要围绕大数据的产业链展开，涉及到数据的采集、整理、存储、安全、分析、呈现和应用，岗位多集中在大数据平台研发、大数据应用开发、大数据分析和大数据运维等几个岗位。 最后，虽然大数据和云计算各有不同的关注点，但是在技术体系结构上，都是以分布式存储和分布式计算为基础，所以二者之间的联系也比较紧密。 另外，大数据、云计算和物联网三者之间的联系也比较紧密，未来物联网将是整合多个技术（包括人工智能）的重要应用场景，应该重点关注一下。

hive如何去掉重复数据，显示第一条

去重没问题啊，distinct 就好了，显示第一条可以用row_number函数，不同版本hive的row_number有所不同，你自己查一下吧，row_number可以对同一个key从1开始编号的。

Saas和Paas有什么区别？

Saas是software-as-a-service(软件即服务的简称）是通过互联网向厂商定购所需的应用软件服务，按定购的服务多少和时间长短向厂商支付费用，并通过互联网获得厂商提供的服务。 Paas平台即Platform-as-a-Service的缩写，意思是平台即服务。 把服务器平台作为一种服务提供的商业模式。 通过网络进行程序提供的服务称之为SaaS(Software as a Service)，而云计算时代相应的服务器平台或者开发环境作为服务进行提供就成为了PaaS(Platform as a Service)。 简单的说是可配置话。 一般可定制类型的eHR，就是支持Paas.