• 请不要在回答技术问题时复制粘贴 AI 生成的内容
nonesuccess
V2EX  ›  程序员

私活,需要抗比较复杂反爬虫策略的爬虫

  •  
  •   nonesuccess · Oct 3, 2017 · 7049 views
    This topic created in 3317 days ago, the information mentioned may be changed or developed.

    工作量不算大,但反爬虫比较复杂

    感兴趣的话,加企鹅私聊:二 431 五零一五 79

    25 replies  •  2017-10-04 14:21:18 +08:00
    iiduce
    iiduce
    Oct 3, 2017
    1
    就一句话,还前后矛盾,这活怎么接?
    laoyur
    laoyur
    Oct 3, 2017
    2
    标题和正文需要这么断句:
    私活,需要(做) 「抗-比较复杂反爬虫策略」的爬虫
    工作量不算大,但(实现)反爬虫 比较复杂
    a87150
    a87150
    Oct 3, 2017
    3
    怎么搞的跟犯罪分子接头一样?
    AlwaysBee
    AlwaysBee
    Oct 3, 2017
    4
    比较复杂的反爬虫策略和工作量真的不存在关联吗,哈哈
    nonesuccess
    nonesuccess
    OP
    Oct 3, 2017
    5
    @iiduce 要爬的内容不算多,但是每一个都不太简单
    iannil
    iannil
    Oct 3, 2017
    6
    举个例子看看先?
    ericgui
    ericgui
    Oct 3, 2017
    7
    @iiduce 我现在也遇到要给网站,才 1000 多条信息,但这是一个大牛逼网站的一个小部分,全站的反爬虫策略非常复杂,从来没有完整下载过这 1000 多条信息。

    另一个网站 6W+条,反爬虫策略很简单,2 小时搞定。
    ericgui
    ericgui
    Oct 3, 2017
    8
    @AlwaysBee 应该指的是数据量不大。
    jint
    jint
    Oct 3, 2017❤️5
    9
    工作量不算大。所以没费用或者极少。至于难度,难度也能叫工作量?搞不定是你水平不行。
    hugee
    hugee
    Oct 3, 2017 via Android
    10
    把目标站发出来看看
    HYSS
    HYSS
    Oct 3, 2017
    11
    总有这种逗逗的需求

    ”工作量不算大,但反爬虫比较复杂“
    mxi1
    mxi1
    Oct 3, 2017
    12
    @HYSS 哈哈。都知道工作量了,还找什么人呀,自己做就行了,反正工作量不算大,233。
    steve007
    steve007
    Oct 3, 2017
    13
    能贴下网址吗
    iConnect
    iConnect
    Oct 3, 2017 via Android
    14
    爬虫也知道工作量?还会感觉累?
    ioven
    ioven
    Oct 3, 2017
    15
    既然工作量不大直接手工好了
    torbrowserbridge
    torbrowserbridge
    Oct 3, 2017 via Android
    16
    爬 1 万条和 10 万条对爬虫来说区别很大吗?
    binux
    binux
    Oct 3, 2017❤️2
    17
    @ericgui #7 找 N 个人手动复制粘贴 1000 次,一次 1 元。
    hcnhcn012
    hcnhcn012
    Oct 3, 2017 via iPhone
    18
    说实话,这句话我读了 10 多遍。。。。
    oszlso
    oszlso
    Oct 3, 2017
    19
    怎么反爬虫的,难道是混淆数据么~~爬出来的数据也是废的~~
    y835L9DyC5XD09kq
    y835L9DyC5XD09kq
    Oct 3, 2017 via iPhone❤️6
    20
    工作量不大--别指望太多钱
    比较复杂--别指望太简单
    flynaj
    flynaj
    Oct 3, 2017 via Android
    21
    全部转成 JPG
    netChen
    netChen
    Oct 3, 2017
    22
    这个主题的话让我想起了产品道哥的话:这个需求很简单,不需要大改,只要求稍微改一下逻辑就好了。。。哈哈,已笑疯在办公间
    jko123
    jko123
    Oct 3, 2017 via Android
    23
    好了。不嘲讽楼主,底价 500 接你的单
    msg7086
    msg7086
    Oct 4, 2017❤️1
    24
    @binux 这么贵啊。大学生兼职打字,一小时 30 块打发了……
    nomemo
    nomemo
    Oct 4, 2017
    25
    找几个学生众包一下就完了

    基本策略都没有?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5416 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 170ms · UTC 02:51 · PVG 10:51 · LAX 18:51 · JFK 21:51
    ♥ Do have faith in what you're doing.