MySQL分表处理用于处理海量的数据库,下面就为您详细介绍MySQL分表处理的实现方法,希望对您能够有所启迪。
面对海量数据的表的时候,我们需要对它进行分表处理,我是按月份分的表,即每月都要建立一张表
比如 table_2010_04,table_2010_05,table_2010_06……您可以根据自己的需要,可以根据时间和不同的字段以及类型来分表。我按月分表是因为我只需要查询每天的数据,不需要查月份的数据,不需要好几张表同时(union)查询,所以查询速度还是很快的,但是如果需要很多张表的union查询的话速度可能就要慢了,那时候就要重新考虑分表的方式了。
每个月的开始都要进行一个操作建立一张以月为单位的新表来存储过去一个月的数据,当然有一张表的表名是一直不变的,这张表是用来暂时存储新的一个月的数据的。
我现在有一张表叫 my_table ,那这张表是一直存在的,比如现在是六月三号,那六月份的数据就暂时存储在这张表中,这时候首先需要my_table变名,
rename table my_table to table_2010_05; 这时候就重新命名了my_table这张表,但是原来的my_table这张表还是存在的,只不过所有的数据都已经存储在table_2010_05这张表上了,这就是用rename进行批处理的好处,大量的数据不需要在进行转移的时候不需要进行导出和导入的操作,那样效率会很低,而且对数据库造成的压力会很大,
在重新命名了my_table这张表后需要重新要创建my_table这张表,CREAT my_table (…….)
table_2010_05 原则上存储的都是五月份的数据,但是因为是三号才进行这个操作,所以肯定是六月一号到三号的数据还是存储到了table_2010_05 这张表上,那就需要从这张表中把一号到三号的数据重新查找出来插入到my_table (暂时存储的是六月份的数据)
insert into my_table (field1,field2….) SELECT field1,field2….FROM my_table_2010_05 WHERE filed3 >= “2010-06-01”; 这样就把一号到三号的数据存入到了暂时存储六月份数据的my_table 到七月初的时候还要对该表进行重复的操作进行分表处理,my_table 这张表保持不变的好处是每次插入的sql语句就不用改了,但是进行查询的时候就需要对时间进行判断,以确定具体查找那一张表,因为我们已经进行了分表操作。
这样每个月初都重复这样一个操作,分表就顺利实现,在进行插入之间还要进行这样一个操作,ALTER TABLE my_table MAX_ROWS=1000000000 AVG_ROW_LENGTH=15000;这样操作的好处是保证表存储好大量数据(超过2G)的数据,目前我的一个月的表中存储了11G多的数据,所以进行分表错做非常有必要,大家可以根据自己的实际情况来进行分表操作(如果是数据量很小的话就不需要进行这个操作了)
【编辑推荐】
MySQL复制表数据到新表的方法
MySQL多表删除的实现
MySQL独立表空间的优缺点
mysql数据库大小写的问题讨论
MySQL MyISAM表结构的恢复
数据库中Address是属于简单属性吗
还可以拆成邮编+省、市、区,即为邮编+city复合属性的吧
mysql 在B数据库下 创建一个与A数据库中一样的表
create table as select * from ;--------------结构,数据内容一致,但是不会复制索引以及外键所以分两步:1:create table like ;-------复制表结构2:insert into select * from ;----------复制数据
初次打开mysql5.6后,怎么使用呢?
一、mysql是通过DOS命令方式操作的,所以需要让DOS能找到相关命令,就得需要做一下配置,首先我们需要指定mysql服务启动启动的文件,用到bin包下的命令,可以通过环境变量配置找到此命令,也可通过在文件中添加下面配置的方式找到此命令:[WinMySQLAdmin]# 指定mysql服务启动启动的文件server=D:/yan_package/mysql-5.6.23-win32/bin/对上述图的参数做下解释说明:basedir:设置mysql的安装目录datadir:设置mysql数据库的数据的存放目录port: 端口号server_id: server-id值类似于IP地址:这些ID值能唯一识别复制服务器群集中的每个服务器实例,如果设置主从服务器时,每个服务器必须有一个唯一的server-id值,且不相同。 也可以在配置文件中设置mysql服务器的字符集default-character-set=gbk二、文件修改好后,进入DOS命令安装mysql服务三、启动mysql服务四、在mysql控制台下以root用户登录,默认root用户是没有密码的,直接按回车。 八、登录成功后,可以看到都有哪些数据库.补充:停止mysql的服务用net stop mysql删除mysql的服务用mysqld -remove
发表评论