公司来了一位架构师,看我用count(*)统计数据总数。
对我说,你怎么用count(*)统计数据,count(*)太慢了,要是把数据库搞垮了怎么搞,用count(1)。吓得我赶紧换成了count(1)。
count(1) 性能就比count(*)高吗?
记得有次面试时,面试官也问我类似这样的问题,mysql统计数据总数count(*)和count(1)哪个效率高?
今天来聊一聊count(1)和count(*)效率问题。
不同存储引擎的性能不一样
我们不知道,Mysql常见的存储引擎有两种,MyISAM和Innodb,在这两种存储引擎下,MySQL对于使用count(*)返回结果的流程是不一样的。
看到这里,不知道你有没有这样的疑问:
这个问题问得好,回答这个问题前,我们先了解下MVCC。
什么是MVCC
全称:Multi-Version Concurrency Control 即多版本并发控制,MVCC 是一种并发控制的方法,一般在数据库管理系统中,实现对数据库的并发访问;在编程语言中实现事务内存。
MVCC 在 MySQL InnoDB 中的实现主要是为了提高数据库并发性能,用更好的方式去处理读-写冲突,做到即使有读写冲突时,也能做到不加锁,非阻塞并发读。
就是因为要实现多版本并发控制,所以才导致Innodb不能直接存储表总记录数。
因为每个事务获取到的一致性视图都是不一样的,所以返回的数据总记录也是不一致的。
举个例子说明下:
假如有一张用户表tb_user, 有三处正在查询用户的总数。
select count(*) from tb_user
这时候每次查到的用户数总数可能不太一样。
这是因为每个用户会根据read view存储的数据来判断哪些数据是自己可见的,哪些是不可见的。
当执行SQL语句查询时会产生一致性视图,即read-view,它是由查询的那一刻所有未提交事务ID组成的数组,和已经创建的最大事务ID组成的。
在这个数组中最小的事务ID被称之为min_id,最大事务ID被称之为max_id,而查询的数据结果就是根据read-view做对比从而得到快照。
于是就产生了以下的对比规则,这个规则就是使用当前的记录的trx_id跟read-view进行对比,规则如下:
要是row的trx_id在数组中,表示该版本是由还没提交的事务生成的,不可见,但是当前自己的事务是可见的;要是row的trx_id不在数组中,表明是提交的事务生成了该版本,是可见的。
读到这,相信你已经知道Innodb引擎为什么不像MyISAM引擎一样把表总记录存储起来了吧。因为 InnoDB 支持事务,MyISAM不支持事务。
在执行count(*)操作的时候还是做了优化的。
mysql对count(*)做了优化
InnoDB是索引组织表,主键索引树的叶子节点是数据,而普通索引树的叶子节点是主键值。所以,普通索引树比主键索引树小很多。对于count(*)这样的操作,遍历哪个索引树得到的结果逻辑上都是一样的。因此,MySQL优化器会找到最小的那棵树来遍历。
如果你使用过show table status 命令的话,就会发现这个命令的输出结果里面也有一个rows值用于显示这个表当前有多少行。
那么是不是这个rows值就能代替count(*)了吗?
其实不能,rows这个是从从采样估算得来的,因此它也是不是准确。不准确到什么程度,官方文档说是在40%到50%。所以show table status命令显示的行数rows是不能直接使用。
基于MySQL的Innodb存储引擎,统计表的总记录数下面这4种做法,哪种效率最高?
实践案例,准备了一张有 500W多条数据的表,表结构如下:
可以看到,这张表有一个主键索引,用不同方式来查询该表用户记录总数。
count(主键id)
用select count(*) from tb_user 耗时0.739s
InnoDB引擎会遍历整张表,把每一行的id值都取出来,返回给server层。server层拿到id后,判断是不可能为空的,就按行累加。

用select count(1) from tb_user 耗时0.753s
同样遍历整张表,但不取值,server层对返回的每一行,放一个数字1进去,判断是不可能为空的,按行累加。
count(字段)
用select count(user_Name) from tb_user 耗时1.436s
分为两种情况,字段定义为not null和null
用select count(*) from tb_user 耗时0.739s
需要注意的是,并不是带了*就把所有值取出来,而是mysql做了专门的优化,count(*)肯定不是null,按行累加。
从上面的执行结果,得知
总结
基于MySQL的Innodb存储引擎,统计表的总记录数按照效率排序的话count(字段)
效率最高是count(*),并不是count(1)
所以建议尽量使用count()。
如果有面试官问你mysql中count(*)和count(1)哪个效率高?你就可以明确地告诉他,Innodb存储引擎下效率最高是count(*)。
1、首先在oracle中avg函数,使用聚合函数在计算平均值时,会报空值排除在外。
2、刚才在计算的时候结果是550,而comm列的总各为2200所以计算平均时是只计算了除了空值的行。
3、需要注意的是,avg函数不能单独使用在where条件中不然会报如下错误。
4、如果想要查询出大于平均值的结果,需要使用group by 子句。
5、然后用count函数用来统计列的总行数,就完成了。
我使用DB2 V9.7CONNECT TO SAMPLE;ALTER TABLE ALTER COLUMN B SET DATA TYPE VARCHAR ( 500 ) ;CONNECT RESET;其中B原来是VARCHAR(50),直接修改成功。
规范: i. 尽量避免大事务操作,慎用holdlock子句,提高系统并发能力。
ii. 尽量避免反复访问同一张或几张表,尤其是数据量较大的表,可以考虑先根据条件提取数据到临时表中,然后再做连接。
iii. 尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就应该改写;如果使用了游标,就要尽量避免在游标循环中再进行表连接的操作。
iv. 注意where字句写法,必须考虑语句顺序,应该根据索引顺序、范围大小来确定条件子句的前后顺序,尽可能的让字段顺序与索引顺序相一致,范围从大到小。
v. 不要在where子句中的“=”左边进行函数、算术运算或其他表达式运算,否则系统将可能无法正确使用索引。
vi. 尽量使用exists代替select count(1)来判断是否存在记录,count函数只有在统计表中所有行数时使用,而且count(1)比count(*)更有效率。
vii. 尽量使用“>=”,不要使用“>”。
viii. 注意一些or子句和union子句之间的替换 ix. 注意表之间连接的数据类型,避免不同类型数据之间的连接。
x. 注意存储过程中参数和数据类型的关系。
xi. 注意insert、update操作的数据量,防止与其他应用冲突。
如果数据量超过200个数据页面(400k),那么系统将会进行锁升级,页级锁会升级成表级锁。
b) 索引的使用规范: i. 索引的创建要与应用结合考虑,建议大的OLTP表不要超过6个索引。
ii. 尽可能的使用索引字段作为查询条件,尤其是聚簇索引,必要时可以通过index index_name来强制指定索引 iii. 避免对大表查询时进行table scan,必要时考虑新建索引。
iv. 在使用索引字段作为条件时,如果该索引是联合索引,那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引,否则该索引将不会被使用。
v. 要注意索引的维护,周期性重建索引,重新编译存储过程。
c) tempdb的使用规范: i. 尽量避免使用distinct、order by、group by、having、join、cumpute,因为这些语句会加重tempdb的负担。
ii. 避免频繁创建和删除临时表,减少系统表资源的消耗。
iii. 在新建临时表时,如果一次性插入数据量很大,那么可以使用select into代替create table,避免log,提高速度;如果数据量不大,为了缓和系统表的资源,建议先create table,然后insert。
iv. 如果临时表的数据量较大,需要建立索引,那么应该将创建临时表和建立索引的过程放在单独一个子存储过程中,这样才能保证系统能够很好的使用到该临时表的索引。
v. 如果使用到了临时表,在存储过程的最后务必将所有的临时表显式删除,先truncate table,然后drop table,这样可以避免系统表的较长时间锁定。
vi. 慎用大的临时表与其他大表的连接查询和修改,减低系统表负担,因为这种操作会在一条语句中多次使用tempdb的系统表。
d) 合理的算法使用: 根据上面已提到的SQL优化技术和ASE Tuning手册中的SQL优化内容,结合实际应用,采用多种算法进行比较,以获得消耗资源最少、效率最高的方法。
具体可用ASE调优命令:set statistics io on, set statistics time on , set showplan on 等。
在oracle中按要求统计行数,怎么运用sum和count函数?
急求修改db2数据库字段属性:一字段由varchar(50)到varchar(500) ?
ORACLE 常用操作语句规范和注意事项
发表评论