Home Sign Up Sign In
cpf
V2EX  ›  问与答

每隔 10~20 分钟爬一次网站会被封吗？做热点聚合页面用

  •   
  •   cpf · May 14, 2022 · 3114 views
    This topic created in 1636 days ago, the information mentioned may be changed or developed.
    如题所述

    我想搞个热点聚合页面，每天给自己看看新闻，吃吃瓜啥的

    爬取热点信息的频率为 10~20 分钟一次，不知道会不会被封 ip

    这方面我不是很懂，没啥经验

    之前爬过豆瓣的电影排行榜，结果爬的频率过高就给我封了一晚上

    有自己的服务器，后端打算用 nodejs 写

    v 友们有啥好的建议吗？
  • 热点
  • 聚合
  • Nodejs
  • 频率
    7 replies  •  2022-05-16 14:29:03 +08:00
    ClericPy
    ClericPy
    May 14, 2022
    1
    目前多数网站我这边 5 分钟一次没发现反爬

    有些网站走了机器学习等思路反反爬, 抓取频率如果太均衡或者非人类作息什么的会反爬, 但是大多数对网站不造成伤害的频率都是安全的. 以上是反爬角度, 至于法务角度就不赘述了
    Ultraman
    Ultraman
    May 14, 2022 via Android
    2
    看看 rsshub 有没有相关路由先？
    cpf
    cpf
    OP
    May 15, 2022
    3
    @ClericPy #1 好的，谢谢

    @Ultraman #2 大多数都是没有 rss 吧，比如知乎日报、热榜，微博热搜啥的
    cpf
    cpf
    OP
    May 15, 2022
    5
    @Ultraman #4 是我孤陋寡闻了，谢谢😅
    brave256
    brave256
    May 16, 2022❤️1
    6
    可以参考下 https://tophub.today/
    cpf
    cpf
    OP
    May 16, 2022
    7
    @brave256 #6 哈哈，感谢，正需要这样的网站
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4599 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 09:07 · PVG 17:07 · LAX 01:07 · JFK 04:07
    ♥ Do have faith in what you're doing.