admirez
V2EX  ›  问与答

用 hashmap 的缓存管理有什么好的定时清理思路吗?比如进入缓存超过五分钟就丢弃

  •  
  •   admirez · Jan 10, 2018 via iPhone · 5943 views
    This topic created in 3236 days ago, the information mentioned may be changed or developed.
    21 replies  •  2019-03-30 00:35:16 +08:00
    Boyizmen
    Boyizmen
    Jan 10, 2018
    1
    java 里有个 WeakHashMap,key 不再被引用就会自动清理
    archer2ee
    archer2ee
    Jan 10, 2018 via iPhone
    2
    guavaa cache,自带过期失效。
    MarcoQin
    MarcoQin
    Jan 10, 2018
    4
    进入缓存带上时间戳,取的时候每次都比较时间戳,若是超过 5 分钟就清楚并重新获取数据进行缓存
    qianlv7
    qianlv7
    Jan 10, 2018
    5
    LRU
    admirez
    admirez
    OP
    Jan 10, 2018 via iPhone
    6
    @MarcoQin 如果只是取的时候比较,那么一直没有被缓存命中的怎么办?
    admirez
    admirez
    OP
    Jan 10, 2018 via iPhone
    7
    @Boyizmen key 不再被引用那一秒钟就被释放达不到缓存目的,或者我理解错误?
    justfly
    justfly
    Jan 10, 2018
    8
    如果要求对空间要求比较高,那就定时(比如每秒)在另一个线程扫一遍,可以加一个辅助一个按时间顺序的 List,找到 5min 以外的就可以。

    不要求太精确空间控制的话,或者限制单线程场景下,每次写入的时候做一下上面的扫描清除逻辑。

    或者再复杂,参考 redis 的过期策略,取样、算比例、清理,可以读下 redis 的过期逻辑。
    MarcoQin
    MarcoQin
    Jan 10, 2018
    9
    @admirez #6 一直没有被命中的情况我猜是请求频率太低导致的?那这样的话是否还需要缓存……

    取的时候如果没有命中,那就再重新写入缓存……当然,这种方式适合临时做或少量的缓存。大量应用缓存的话,用定时任务做可能好一些,比如楼上说的那样
    Boyizmen
    Boyizmen
    Jan 10, 2018
    10
    @admirez 应该是,文档我也没细看
    xcolder
    xcolder
    Jan 10, 2018
    11
    Guava Cache + 1
    rockyou12
    rockyou12
    Jan 10, 2018
    12
    lz 要不是有什么特别业务直接用 google guava 里的 cache 就行了,很简单的
    yangg
    yangg
    Jan 10, 2018
    13
    同求 node 或者 js 的
    innoink
    innoink
    Jan 10, 2018
    14
    LRU,双链表
    noe132
    noe132
    Jan 10, 2018 via Android
    15
    node 有 lru-cache。可以设置个定时任务清理过期的缓存
    bazingaterry
    bazingaterry
    Jan 10, 2018 via iPhone❤️1
    16
    參考一下 Redis 的實現唄
    honeycomb
    honeycomb
    Jan 10, 2018 via Android
    17
    guava cache

    eviction 机制比较优雅,而且要使用 weak/soft 引用也没问题,回调 /权重 /load 接口,错误处理 /性能统计,builder 等都预先准备好了。
    HaoyangWei
    HaoyangWei
    Jan 10, 2018
    18
    如果说自己造轮子的话,map+双向链表=>LRU map
    使用时读取前检查时间,写入前检查时间并最多尝试淘汰 2 个元素
    就好啦:)
    th00000
    th00000
    Jan 10, 2018
    19
    可以参考热点缓存机制, 简单来说就是维护一个 1000 长度的队列, 每次用的时候就放到队列头, 每 5 分钟清除队列尾部的 200 条数据, 再从数据库中拿 200 条来补充. 以此来实现
    argsno
    argsno
    Jan 10, 2018
    20
    Redis 在读取数据的时候判断是否过期,以及定期删除过期的键
    c4f36e5766583218
    c4f36e5766583218
    Mar 30, 2019
    21
    Guava CacheBuilder
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4276 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 09:02 · PVG 17:02 · LAX 01:02 · JFK 04:02
    ♥ Do have faith in what you're doing.