人们对数据管理的需求由来已久。1950年，雷明顿兰德公司在“Univac I”计算机上推出了磁带驱动器，每秒可以输入数百条记录。六十年代，计算机开始广泛引用于数据管理，传统的文件系统已经不能满足人们的需要，能够统一管理和共享数据的数据库管理系统应运而生。如今，数据已经不再是简单的储存和管理，基于云的数据库正衍生出越来越多的玩法和应用场景。
数据库遇上云计算 腾讯这次要怎么玩?(图片来自ITProPortal)
数据库可以说是长期存储在计算机内、有组织、共享、统一管理的数据集合，是一个按数据结构来存储和管理数据的计算机软件系统。当某个系统中存在结构上完全分开的若干个数据库时，则该系统包含一个“数据库集合”。
根据数据模型的发展，可以划分为三个阶段：***代的网状、层次数据库系统;第二代的关系数据库系统;第三代的以面向对象模型为主要特征的数据库系统。随着结构化和非结构化数据的快速增加，每个行业都在为这些增量储备能力，并且发现了传统数据库之外的新方案。
在云计算时代，传统IT结构正经历着转型期。市场调研机构IDC指出，2015年云环境下IT基础设施部署支出增长24.6%，达到328亿美元。与此同时，企业也在积极寻求便捷、高效、低成本的解决方案，推进云战略。
利用云数据库，企业可以实现按需付费、按需扩展、高可用性、存储整合等优势。将数据库部署到云，能够通过简化可用信息通过网络连接的业务进程，支持和确保云业务应用程序作为SaaS部署的一部分。对于供应商来说，他们在公有云中可以将数据库托管，而云服务商也能通过一系列功能帮助客户完成数据库的拓展。
腾讯云数据库MySQL和TDSQL特性
云数据库(CDB)是腾讯云提供的关系型数据库云服务，基于PCI-e SSD，支持MySQL、SQL Server、TDSQL(兼容mariaDB)引擎。CDB拥有多种存储介质类型，包括基于高速PCIExpress架构的企业级固态硬盘(SSD)和相关控制器提供硬件加速能力，专为高性能OLTP应用程序设计，QPS高达37000的高IO版，以及价格低廉的普通SSD存储介质，容量大成本效益高。
据了解，CDB提供了主从数据实时热备、确保线上数据安全，通过多份备份机制保存多天的数据，提高了在灾难情况下的数据可靠性。同时，其还支持实时双机热备，3日内无损恢复，5日冷备数据dump，以及宕机自动检测和故障自动迁移。通过多维度监控、自定义资源阈值告警，用户可以查询分析报表和SQL完整运行报告。费用方面，用户可根据业务情况选择精确到秒粒度的按量计费模式，或包年包月模式。
具体来看，CDB完全兼容MySQL协议，适用于面向关系型数据库的场景，由云数据库运营团队全面负责MySQL的安装、部署、版本更新及故障处理，无需客户动手。master与slave的切换、故障的处理及数据迁移，也是对用户透明的，ip port保持不变
高IO版特性
CDB For MySQL支持挂载只读实例，支持一主多从架构，带有负载均衡功能的RO组能够简化从机之间压力分配的过程。使用过程中，提供了命令行和Web两种方式管理云数据库，并支持批量数据库的管理、权限设置和SQL导入。此外，其还支持外网访问和VPC网络，可通过这些接入方式将云数据库与IDC、私有云或其他计算资源互联，应用于混合云环境。
至于云数据库TDSQL，则是定位于OLTP场景下高安全性的企业级云数据库，兼容MySQL语法，拥有线程池、审计、异地容灾等高级功能，在多个项目中通过了银监、保监的可靠性、信息安全等检查，具有云数据库的易扩展性、简单性和性价比。
TDSQL分布式集群架构
TDSQL以高安全性、高可用性、主备数据强一致为基础设计，支撑了腾讯90%以上的计费业务。该服务提供了99.99999%的数据可靠性，以及防窃取、防注入、防篡改和审计追溯等多种增值安全能力。可用性方面，TDSQL采用了集群或分布式集群部署，具有冗余容灾特性，单机故障不会影响整个集群的稳定。HAS(高可用调度方案)支持跨机房、双线路网络部署，避免了网络故障带来整个系统的不可用。
腾讯云在SQL Server等也有布局
除了MySQL和TDSQL，腾讯云当然也不会忘记SQL Server。CDB for SQL Server将帮助用户部署已包含正版授权的SQL Server(2008 R2和2012)版本，提供部署备份、恢复、监控、迁移等方案。
CDB for SQL Server方案架构
腾讯介绍称，CDB for SQL Server默认提供一主一镜像配置，附带日志和物理文件备份，能30分钟内通过备份自动恢复主机，可用性达99.95%;PCI-e SSD配置存储可***限度提升sqlserver读写性能，相同环境下比自建性能高出30%;提供多种监控和告警，性能优化分析;弹性按需购买，相比通过购买 服务器 自建，性价比更高。
此外，该服务还支持开发者配置和部署SQL Server Management Studio，可以通过可视化管理界面使用和管理SQLServer，降低了管理系统、.NET架构、Visual Studio Team System的时间和成本，提供了多种增值服务。
说到开源数据库PostgreSQL，CDB也为此做了兼容。腾讯云将负责绝大部分处理复杂而耗时的管理工作，例如PostgreSQL软件安装、存储管理、高可用复制、以及为灾难恢复而进行的数据备份。
使用过程中，腾讯云提供了PostgreSQL的关键运行指标，包括CPU利用率、存储容量使用率、I/O 活动等性能监控数据，用户可以在管理中心查看，且无需额外收费，快速定位和解决问题。自定义指标告警阈值，无需时刻关注监控，可通过电子邮件或短信及时了解异常。
当用户的数据出现严重问题时，能快速恢复到某个正常时间点，以应对升级故障或灾难恢复等情况，腾讯云PostgreSQL默认保存7日两份，并在每日凌晨实现完整备份，每五分钟备份日志文件的xlog，用户可以通过回档功能将数据库实例恢复7天内任何一秒钟的状态，最多可恢复到前五分钟的状态。
此外，为了满足不断发展的业务的数据存储需要，腾讯云支持***存储到6TB，***内存480GB的规格模型，用户可以通过腾讯云管理中心，实现一键升级到目标规格。升级后的实例将继承原有实例的IP和全部配置，升级过程中，仅在切换过程产生1秒的闪断，而不需要长时间停机，即可随时满足业务弹性需要。
值得一提的是，腾讯云还拥有基于MySQL打造的高性能物理宿主机数据存储服务“黑石数据库”，提供了完整的监控、运维服务，适用于面向关系型数据库的场景。不仅如此，腾讯云还在MongoDB、HBase、DCDB等领域均有布局。
黑石数据库应用于游戏行业的产品架构
分布式云数据库(DCDB for TDSQL)产品架构
其中，NoSQL完全兼容MongoDB协议，适用于文档型或分布式NoSQL数据库的场景;云数据库HBase完全兼容HBase协议，适用于写吞度量大，海量数据存储以及分布式计算的场景;DCDB for TDSQL兼容MySQL协议和语法，支持自动水平拆分的高性能分布式数据库——即业务显示为完整的逻辑表，数据却均匀的拆分到多个分片中，每个分片默认采用主备架构，提供灾备、恢复、监控、不停机扩容等全套解决方案，适用于TB或PB级的海量数据场景。
hive如何去掉重复数据，显示第一条
去重没问题啊，distinct 就好了，显示第一条可以用row_number函数，不同版本hive的row_number有所不同，你自己查一下吧，row_number可以对同一个key从1开始编号的。
自学Linux云计算能学好吗？
作为云计算市场的后来者，腾讯云近期攻势猛烈，从面向企业的云服务，到面向用户的个人云市场全面发力，更将战火蔓延至海外市场。 吸引了越来越多的人开始加入到学习linux云计算的行列，那对于没有基础的同学来讲，linux云计算好学吗？我们首先需要了解一下云计算是干什么的，都学习哪些内容。 云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池(资源包括网络，服务器，存储，应用软件，服务)，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。 学习云计算你需要知道虚拟化，虚拟化目前分为服务器虚拟化(以VMware为代表)、桌面虚拟化、应用虚拟化等。 可以分为以下几个阶段来学习：1. Linux云计算网络管理实战2. Linux系统管理及服务配置实战3. Linux Shell自动化运维编程实战4. 开源数据库SQL/NOSQL运维实战5. 大型网站高并发架构及自动化运维项目6. 网站安全渗透测试及性能调优项目实战7. 公有云运维技术项目实战8. 企业私有云架构及运维实战9. Python自动化运维开发基础10. Python自动化运维开发项目实战11. Python自动化运维开发项目实战12. 搜狐畅游项目实训具体学习目标：1、掌握大型网站架构、网站服务器运维、数据库运维、自动化运维技术；2、能够利用Shell及Python编写自动化运维工具，例如CMDB、自动化运维平台等、公有云管理系统；3、能够解决运维过程中出现的各种问题，例如网站架构问题等；4、具备中小型公司公有云运维的能力。 例如公司使用的是阿里云、亚马逊云；5、掌握中大型公司私有云平台的构建及运维，例如构建及运维京东私有云平台；6、能够利用Python开发运维中的各种工具，以及对现有软件如Zabbix、Ansible进行二次开发；7、具备快速学习及适应新技术迭代的综合能力。 对于初学者学习云计算，给出的建议是：基础是关键，在涉猎技术范围广泛的同时，所学所了解的知识领域一定要成体系，抓住一个方向，作为一技之长。 学以致用是，在学习过程中，重在理解，贵在实践，积极将所学所了解的技术运用于项目实践，成就你的云计算自学梦想。
大数据云计算适合什么人群学习呢？
1云计算适合什么人学一般来说，搞云计算的基本都是理科生，而且以男生居多，毕竟这是一个技术含量较高的行业，工作内容主要是编程，也有硬件、网络相关的。 如果想学云计算开发，你需要有一定的计算机方面的专业知识背景；但是如果想学计算机运维的话，即便是零基础，也可以学，毕竟云计算这门学科说难不难，说易不易的，只要你有足够的兴趣，想必都能学好。 2云计算专业就业方向云架构师领导云计算项目的开发和部署，确保系统的可扩展性、可靠性、安全性、可维护性，并在预算内达到业务和IT业绩表现要求。 云计算软件工程师云计算工作中的IT专业人员通常负责公司云计划的各个方面，通常涉及到云资源、服务和应用程序的概念化、规划、设计、实施、优化、管理、故障排除和持续支持，我们通常把这些IT专业人员称为云计算工程师。 3云计算专业的前景好不好按照目前的形式看，云计算专业就业形式一片大好，在国家政策的支持下，我国云计算应用市场发展明显加快，各地云计算应用逐渐落地，越来越多的企业开始介入云产业，出现了大量的应用解决方案，云应用的成功案例逐渐丰富，用户了解和认可程度不断提高，云计算产业发展迎来了“黄金机遇期”。 可以说，云计算就业前景相当广阔。
发表评论