Livid
406.45D
549.1D

一个关于 SELECT COUNT(id) 的初级问题

  •  
  •   Livid ·
    PRO
    · Aug 12, 2019 · 8723 views
    This topic created in 2650 days ago, the information mentioned may be changed or developed.

    发现像下面这样的查询,希望获得一张表里的记录总数,在表的数据量比较大(上亿)的情况下,PostgreSQL 是无法马上返回结果的,需要等几十秒。有什么更好的方法么?

    SELECT COUNT(id) FROM table
    
    26 replies  •  2020-01-02 16:43:54 +08:00
    myyou
    myyou
    Aug 12, 2019
    1
    上亿的话分表的,对每个表进行 count 汇总不知道会不会快一点
    Hermann
    Hermann
    Aug 12, 2019
    2
    pg_class
    ipwx
    ipwx
    Aug 12, 2019 via Android
    3
    count(1) count(*) 这两种写法的耗时呢?
    lihongming
    lihongming
    Aug 12, 2019 via iPhone
    4
    理论上 COUNT(*)更快,因为 COUNT(id)要检查有没有 id,id 为 null 的不计数,而*不检查
    df4VW
    df4VW
    Aug 12, 2019
    5
    @ipwx postgres 的话,count(*) 更快
    itskingname
    itskingname
    Aug 12, 2019
    6
    @lihongming 如果 id 是主键的话,它就不会检查了吧。
    df4VW
    df4VW
    Aug 12, 2019
    8
    @rio 这里面说的其实都有点过时,现在都是 redis 里放一份就都解决了
    zeraba
    zeraba
    Aug 12, 2019 via Android
    9
    看需求,如果这个值必须并且需要精确计算,定期统计后存聚合以后的值,或者插入就更新都是可选方案,如果是估算,可以直接用估算值,当然也可以估算之后再精确算
    wph95
    wph95
    Aug 12, 2019
    10
    如果只是想知道一张表里的记录总数,用 pg_class 里的 reltuples 是最快的 常量级别。EXPLAIN 用的就是这个参数,开销极小。但是这个值存在误差的可能。
    想要精准结果 count(*) 最快
    rio
    rio
    Aug 12, 2019
    11
    @df4VW 放 redis 的话一致性问题怎么解决?当然要看具体场景对数据准确性和可用性的要求。
    kingwl
    kingwl
    Aug 12, 2019
    12
    @ipwx
    我记得是一样的 这个 case 在列裁剪的时候大概能干掉
    gz911122
    gz911122
    Aug 12, 2019
    13
    EXPLAIN 取结果,不过有误差
    Raymon111111
    Raymon111111
    Aug 12, 2019
    14
    需要精准的数据就离线跑吧
    quickma
    quickma
    Aug 12, 2019
    15
    4 楼的说法是正确的,不过是 mysql 里的,至于 PostgreSQL 是不是也是一样的,我猜是一样的
    razertory
    razertory
    Aug 12, 2019
    16
    大多数关系型数据库的存储引擎都是行存,做精准行数统计的时候多数是很慢的。如果说不需要精准那么用一些自带的函数可以改善。还有就是可以考虑用列存储引擎,或者用 Redis 做个 counter。
    oatw
    oatw
    Aug 12, 2019
    17
    额,如果只是要统计一个表里的记录数量,是不是可以在写入数据的时候就把数量+1,在 Rails 里好像就是这么处理的,说的不对不要打我,我只是个小前端来 drop the beat。。。
    Mazexal
    Mazexal
    Aug 12, 2019
    18
    我觉得如果不是要精确数据的话, 可以每隔一分钟跑一次任务, 然后缓存起来, 每次就获取最近的一次就好了
    Muninn
    Muninn
    Aug 12, 2019
    19
    一般来说需要的都不是精确数据,那就再专门做一个低精度的缓存就好。

    控制所有插入和删除的地方,有动作时在别的地方维护总数;或者隔一段时间跑一次。二选一吧。
    nekoneko
    nekoneko
    Aug 12, 2019
    20
    只知道 mysql 的 myisam 引擎会把一张表的行数存起来,查的时候秒出
    glacer
    glacer
    Aug 12, 2019
    21
    不需要实时精确数据的话,就是存缓存定时更新。
    还有一种做法就是取 Explain 的 rows。
    starsriver
    starsriver
    Aug 13, 2019 via Android
    22
    cache 阿,没见过这么统计的。
    est
    est
    Aug 13, 2019
    23
    这事儿刚好也遇到过。楼上很多已经给出回答了,我具体说下,就是 EXPLAIN SELECT COUNT(id) FROM table 去看 rows 那一行返回。预估的。有误差。
    lolizeppelin
    lolizeppelin
    Sep 7, 2019
    24
    @est 要加 where 过滤咋办 233333
    est
    est
    Sep 7, 2019
    25
    @lolizeppelin 那就直接加上咯
    encro
    encro
    Jan 2, 2020
    26
    升级 12,据说有优化,包括对 where 过滤
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   952 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 66ms · UTC 19:48 · PVG 03:48 · LAX 11:48 · JFK 14:48
    ♥ Do have faith in what you're doing.