• 请不要在回答技术问题时复制粘贴 AI 生成的内容
jijiwaiwai
V2EX  ›  程序员

微信公众号文章采集

  •  
  •   jijiwaiwai · Nov 24, 2017 · 10700 views
    This topic created in 3272 days ago, the information mentioned may be changed or developed.

    目前开放注册免费使用 http://www.wechatposts.com/ 输入公众号名称提交任务,五分钟内方可到处所有文章列表

    Supplement 1  ·  Nov 24, 2017
    网站打不开可以临时使用:
    http://l162241j11.imwork.net/
    45 replies  •  2020-02-14 18:10:57 +08:00
    nyfwan123
    nyfwan123
    Nov 24, 2017
    1
    求问后端大概实现思路
    cqcn1991
    cqcn1991
    Nov 24, 2017
    2
    好 NB...
    golmic
    golmic
    Nov 24, 2017 via Android
    3
    大概是怎么实现的呢?
    br0x
    br0x
    Nov 24, 2017
    4
    同求,楼主讲一下思路呗
    grimpil
    grimpil
    Nov 24, 2017 via Android
    5
    只能采集十篇?
    deathql
    deathql
    Nov 24, 2017
    6
    这个是怎么实现的 我也想知道
    linKnowEasy
    linKnowEasy
    Nov 24, 2017
    7
    魔鬼交际学... 抓取失败
    LukeChien
    LukeChien
    Nov 24, 2017 via Android
    8
    搜狗搜索抓的吧
    utopia5719
    utopia5719
    Nov 24, 2017
    9
    试了一下,40 分钟了也没数据啊
    jijiwaiwai
    jijiwaiwai
    OP
    Nov 24, 2017
    10
    @grimpil 可以采集所有
    jijiwaiwai
    jijiwaiwai
    OP
    Nov 24, 2017
    11
    @LukeChien 不是
    jijiwaiwai
    jijiwaiwai
    OP
    Nov 24, 2017
    12
    @utopia5719 提交的时候,请提交正确的“微信公众号名称”,注意区分大小写,且不是“微信号”
    jijiwaiwai
    jijiwaiwai
    OP
    Nov 24, 2017
    13
    @linKnowEasy 可以的,今天刚上线,测试的人数太多,可能抓取有延迟
    deathql
    deathql
    Nov 24, 2017
    14
    @jijiwaiwai web 微信吧
    buir
    buir
    Nov 24, 2017
    15
    Service Temporarily Unavailable

    The server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later.

    Apache/2.2.15 (CentOS) Server at www.wechatposts.com Port 80
    sangmong
    sangmong
    Nov 24, 2017
    16
    @buir 我这也是
    arens
    arens
    Nov 24, 2017
    17
    注册不能
    buir
    buir
    Nov 24, 2017
    18
    直接 503 玩死了~
    jijiwaiwai
    jijiwaiwai
    OP
    Nov 24, 2017
    19
    @buir 刷新
    jijiwaiwai
    jijiwaiwai
    OP
    Nov 24, 2017
    20
    @deathql 也不是,哈哈
    friejq
    friejq
    Nov 24, 2017
    21
    望楼主分享思路?
    weer0026
    weer0026
    Nov 24, 2017
    22
    正常应该搜狗来的,还记得之前造数分享了一个从微信公众号后台抓的办法。
    mooncakejs
    mooncakejs
    Nov 24, 2017
    23
    微信拿 key,关注采集,数据问题不大,号多了就不好维护了。
    missdeer
    missdeer
    Nov 24, 2017
    24
    503 Service Temporarily Unavailable

    The server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later.
    krasie
    krasie
    Nov 24, 2017
    25
    Proxy Error

    The proxy server received an invalid response from an upstream server.
    luoshixiong
    luoshixiong
    Nov 24, 2017
    26
    打不开 凉了?
    faustina
    faustina
    Nov 24, 2017
    27
    502
    xsd3169
    xsd3169
    Nov 24, 2017
    28
    凉了凉了凉了。。
    ```
    <!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
    <html><head>
    <title>502 Proxy Error</title>
    </head><body>
    <h1>Proxy Error</h1>
    <p>The proxy server received an invalid
    response from an upstream server.<br />
    The proxy server could not handle the request <em><a href="/">GET&nbsp;/</a></em>.<p>
    Reason: <strong>Error reading from remote server</strong></p></p>
    <hr>
    <address>Apache/2.2.15 (CentOS) Server at www.wechatposts.com Port 80</address>
    </body></html>
    ```
    jijiwaiwai
    jijiwaiwai
    OP
    Nov 24, 2017❤️1
    29
    @xsd3169 网站打不开可以临时使用:
    http://l162241j11.imwork.net/
    xsd3169
    xsd3169
    Nov 24, 2017
    30
    @jijiwaiwai 666
    之前我通过 MITM 做过一个差不多的,然而部分操作依然需要手动 2333
    ORZRRR
    ORZRRR
    Nov 24, 2017
    31
    大哥没有数据啊
    anteros
    anteros
    Nov 24, 2017
    32
    是关掉了吗?没抓到呀,就你的全球人工智能能抓到,其他的公众号都没用了,是你关掉服务了吗?
    deadofpeople
    deadofpeople
    Nov 24, 2017
    33
    关服务了吗 /?
    xsd3169
    xsd3169
    Nov 24, 2017
    34
    @jijiwaiwai 抓不到..
    anthow
    anthow
    Nov 24, 2017
    35
    老铁敢不敢告诉我一下下思路,嗯哼?
    jijiwaiwai
    jijiwaiwai
    OP
    Nov 24, 2017
    36
    @xsd3169 全自动搞定
    AlwaysBee
    AlwaysBee
    Nov 24, 2017
    37
    采集不了。。。。
    AlwaysBee
    AlwaysBee
    Nov 24, 2017
    38
    看采集结果是和搜狗的结果一样的,那需要解决的问题就是验证码,这个可以通过 IP 代理池来进行规避验证码,如果要采集历史文章,只能通过微信的客户端进行采集,而这个会遇到封号的问题
    jijiwaiwai
    jijiwaiwai
    OP
    Nov 25, 2017
    39
    @AlwaysBee 并不是搜狗,我的是实时采集的
    jijiwaiwai
    jijiwaiwai
    OP
    Nov 25, 2017
    40
    @php01 临时关了一下
    Britter
    Britter
    Nov 25, 2017
    41
    应该不是搜狗,搜狗限制太多了,这个应该是通过微信里边的机制来抓取的,之前也做过一套
    AlwaysBee
    AlwaysBee
    Nov 25, 2017
    42
    @jijiwaiwai 但是我试了,并没有把历史文章采集到,只有最近十天的文章
    akaayy
    akaayy
    Nov 25, 2017
    43
    求分享思路。。
    Crayon2022
    Crayon2022
    Nov 26, 2017
    44
    求分享思路
    golangggg
    golangggg
    Feb 14, 2020
    45
    原贴过去好久了.. 已经过期了, 我这里有一套现在可用的免费 api 爬虫 https://github.com/Edaaaaa/wx-spider 可以供大家参考 codes 里面有 php 和 py 的 demo 简单写一点逻辑就可以使用了 api 方式可以 在几分钟时间内从开发到上线.比起自己搭建 效率高了很多倍 如果对你有帮助的话 记得在 github 点一下 star 谢谢了~
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2522 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 67ms · UTC 00:37 · PVG 08:37 · LAX 16:37 · JFK 19:37
    ♥ Do have faith in what you're doing.