Evan0302

怎么从 ES 中取出 20w 数据

  •  
  •   Evan0302 · Sep 19, 2018 · 11145 views
    This topic created in 2977 days ago, the information mentioned may be changed or developed.
    10 replies  •  2020-09-29 20:23:28 +08:00
    Evan0302
    Evan0302
    OP
    Sep 19, 2018
    1
    最好一次性取出来
    windfarer
    windfarer
    Sep 19, 2018 via Android
    2
    prolic
    prolic
    Sep 19, 2018 via Android
    3
    search after 还是 after search 来的
    ClutchBear
    ClutchBear
    Sep 20, 2018
    4
    es 我记得一次性最多取一万条.
    没法一次性的,
    只能用 scroll
    qinxi
    qinxi
    Sep 20, 2018
    5
    @ClutchBear 1W 是默认值 可以改
    reself
    reself
    Sep 20, 2018 via Android
    6
    @qinxi 不管是 1w 还是多少,search api 禁止深翻页。获取数据请用 scroll。
    Evan0302
    Evan0302
    OP
    Sep 20, 2018
    7
    公司业务坑爹啊,之前用的 redis:keys。。。。
    rmrdf
    rmrdf
    Mar 5, 2019
    8
    还是用 scroll 分页查询吧,20w 条 很快的
    demohjw
    demohjw
    Sep 18, 2020
    9
    @rmrdf 我这边 20 万条,通过 scroll 分页查询取出来,需要 20 多秒,这也太慢了,mysql20 万数据返回都不到 1 秒,这是什么原因呢,我的 es 配置,8 核,8G,能告知一下不
    rmrdf
    rmrdf
    Sep 29, 2020
    10
    @demohjw scroll size 设置 1w 20s 有点久。。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2259 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 02:31 · PVG 10:31 · LAX 18:31 · JFK 21:31
    ♥ Do have faith in what you're doing.