爱意满满的作品展示区。
huangzitao

第一次玩爬虫有点上瘾啊,写了个百度云资源搜索。。

  •  
  •   huangzitao · Jul 25, 2017 · 18407 views
    This topic created in 3391 days ago, the information mentioned may be changed or developed.
    77 replies  •  2017-08-25 18:38:06 +08:00
    hizoubin
    hizoubin
    Jul 25, 2017
    1
    感觉搜索效果不如 biliworld
    yuedingwangji
    yuedingwangji
    Jul 26, 2017
    2
    好像还蛮不错的
    LINAICAI
    LINAICAI
    Jul 26, 2017
    3
    牛逼
    asheshorse
    asheshorse
    Jul 26, 2017 via Android
    4
    不算全,不过还不错
    WildCat
    WildCat
    Jul 26, 2017 via iPhone
    5
    666
    不过很想知道爬虫原理
    shenyangno1
    shenyangno1
    Jul 26, 2017 via iPhone
    6
    搜索条件中包含:和 /会报 500 错。
    ericbize
    ericbize
    Jul 26, 2017
    7
    专业的爬虫公司被你爬了
    Fe1Fan
    Fe1Fan
    Jul 26, 2017
    8
    好像真的很好玩
    a494836960
    a494836960
    Jul 26, 2017
    9
    爬种子很好用
    default7
    default7
    Jul 26, 2017
    10
    怎么弄的?
    Qiss
    Qiss
    Jul 26, 2017
    11
    速度好快啊,大神用的哪家服务器?
    believeitcould
    believeitcould
    Jul 26, 2017
    12
    匹配模式可以选吗 搜出来的信息太多了 想完全匹配
    Dvel
    Dvel
    Jul 26, 2017
    13
    速度贼快
    frankkai
    frankkai
    Jul 26, 2017
    15
    可以可以,很强
    jimyan
    jimyan
    Jul 26, 2017
    16
    牛逼
    Hellofxq
    Hellofxq
    Jul 26, 2017
    17
    看起来很好玩的样子,我也想学
    huangzitao
    huangzitao
    OP
    Jul 26, 2017
    18
    @asheshorse 目前只爬了 400w
    @ericbize 爬虫是不太阳光,不过确实刺激
    @Qiss 阿里的
    @believeitcould 以后开发把
    nazor
    nazor
    Jul 26, 2017 via iPhone
    19
    能不能采集有没有那种带密码的资源。
    ericbize
    ericbize
    Jul 26, 2017
    20
    @huangzitao 凭自己本事浏览的网页,没什么不阳光的,有本事你 block 了 python requests 的 UA 啊。
    beyoung
    beyoung
    Jul 26, 2017
    21
    各种链接不存在
    mahone3297
    mahone3297
    Jul 26, 2017
    22
    原理是?
    guodong110
    guodong110
    Jul 26, 2017 via Android
    23
    http://www.fastsoso.cn 有失效检测
    NAO
    NAO
    Jul 26, 2017
    24
    同想完全匹配
    upczww
    upczww
    Jul 26, 2017 via iPhone
    25
    原理 site:pan.baidu.com
    ikeeper
    ikeeper
    Jul 26, 2017
    26
    厉害了,求指导
    cenyu
    cenyu
    Jul 26, 2017
    27
    很厉害,赞一个
    gao117348222
    gao117348222
    Jul 26, 2017
    28
    收藏了
    suliuyes
    suliuyes
    Jul 26, 2017
    29
    楼上都是才上互联网吗,为什么都觉得厉害?网盘搜索有很多了啊。百度“网盘搜索”看看有多少。 #25 @upczww 也说了原理了。
    v166ex
    v166ex
    Jul 26, 2017
    30
    @suliuyes site:pan.baidu.com 应该不是这个吧,我试了下 bd 没有啥显示
    xmh51
    xmh51
    Jul 26, 2017
    31
    @huangzitao 现在还能爬吗?百度不在主页显示分享文件后?
    suliuyes
    suliuyes
    Jul 26, 2017
    32
    @binfengxy 百度自己屏蔽了。PS,比如抓粉丝列表也可
    Adamla
    Adamla
    Jul 26, 2017
    33
    为啥我搜索“拳皇”就会出现错误页面呢。
    sola97
    sola97
    Jul 26, 2017
    34
    我平时用的胖次搜索,带失效检测,也能搜到不可告人的东西
    Zioyi
    Zioyi
    Jul 26, 2017
    35
    楼主后台用什么写的
    aksoft
    aksoft
    Jul 26, 2017
    36
    @sola97 给个地址,让我去检查不可告人的东西
    iphantom
    iphantom
    Jul 26, 2017
    37
    这个速度很赞 结果也很棒
    iShawnWang
    iShawnWang
    Jul 26, 2017 via iPhone❤️1
    38
    可以讲解下远离或者开源么... 希望能学习下代码...
    Antidictator
    Antidictator
    Jul 26, 2017 via Android
    39
    借楼问谷歌用 site 语法没什么效果。是不是被屏蔽啦。
    再借楼问原理😂😂
    Antidictator
    Antidictator
    Jul 26, 2017 via Android
    40
    @upczww 经常在 Google 用这个语法,但是效果还不如一些类似楼主做的站呢
    upczww
    upczww
    Jul 26, 2017
    41
    @Antidictator 那是别人做了二次整理的,分好类的
    huangzitao
    huangzitao
    OP
    Jul 26, 2017
    42
    @xmh51 百度网盘前几天被人差评,现在封了很多,所以你懂得
    @Adamla 用的第三方中文分词器,后台看了下,有 bug
    @Zioyi springboot 跟 lucene
    @iShawnWang 这个也没什么难度啊,无非是爬文件分享链接。
    66kanfengjing
    66kanfengjing
    Jul 26, 2017
    43
    搜索*会报 500O(∩_∩)O 哈!以前做 lucene 的时候就忘了考虑通配符的问题
    huangzitao
    huangzitao
    OP
    Jul 26, 2017
    44
    @66kanfengjing 什么都不写也 500 O(∩_∩)O 这程序不够健壮啊
    66kanfengjing
    66kanfengjing
    Jul 26, 2017
    45
    @huangzitao 我用 Lucene ( Version:3.5 )的时候用的 IK(Version:2012FF)分词器,目前还没有遇到分词器的 bug.
    Zioyi
    Zioyi
    Jul 26, 2017
    46
    大佬 你是怎么爬下来的?百度云盘有 api ?
    huangzitao
    huangzitao
    OP
    Jul 26, 2017
    47
    @66kanfengjing 👌,下次还是用低版本的算了,唉 ik 都不更新了
    @Zioyi 这个要分析啊,只要能看到的,公开的,都能爬
    zyowe
    zyowe
    Jul 27, 2017❤️1
    48
    NullException
    NullException
    Jul 27, 2017
    49
    666
    hienchu
    hienchu
    Jul 27, 2017 via iPhone
    50
    不错
    sumuu
    sumuu
    Jul 27, 2017
    51
    @zyowe

    哈哈~~~牛逼.
    WEAlex
    WEAlex
    Jul 27, 2017
    52
    有源码可以分享一下吗?最近刚把 springboot 和 docker 学习了.
    gao117348222
    gao117348222
    Jul 27, 2017
    53
    @zyowe 稳
    smartdie
    smartdie
    Jul 28, 2017
    54
    可以啊,这个引擎的速度非常可观。希望能分享下实现方式或者源码。
    huangzitao
    huangzitao
    OP
    Jul 28, 2017
    55
    @WEAlex
    @smartdie 源码都没注释啊,也没什么技术含量哈,主要是在本地建好索引在上传到服务器的,建索引特耗内存而且 gc 一时半会不释放
    Hugh123
    Hugh123
    Jul 28, 2017
    56
    需要 66666666
    Dwyanetalk
    Dwyanetalk
    Jul 28, 2017
    57
    贤者,我对这个名字来源感兴趣
    huangzitao
    huangzitao
    OP
    Jul 28, 2017
    58
    @Dwyanetalk 哈哈我朋友想的,感觉屌爆了
    propc
    propc
    Jul 29, 2017 via Android
    59
    不错不错
    mooncakejs
    mooncakejs
    Jul 29, 2017
    60
    @ericbize 偷偷爬不查你也就算了,show 出来就不行了,殊不知有 robots 协议。
    syl371
    syl371
    Jul 29, 2017
    61
    我还是觉得 www.biliworld.com 好用一点
    1002149271
    1002149271
    Jul 30, 2017
    62
    写这个会不会被抓?
    wanglaihuai
    wanglaihuai
    Jul 31, 2017 via Android
    63
    如果加上个按照时间排序就更好了大神。
    wilonti
    wilonti
    Jul 31, 2017
    64
    但是我不知道用啥关键词搜...尴尬了
    yuanfnadi
    yuanfnadi
    Aug 3, 2017
    65
    huangzitao
    huangzitao
    OP
    Aug 4, 2017 via Android
    66
    @yuanfnadi 好👌
    jedihy
    jedihy
    Aug 8, 2017 via iPhone
    67
    爬 115 吧
    omg21
    omg21
    Aug 8, 2017
    68
    你是不是也建了一个数据库,把爬到的内容存进去,然后别人在你主页上搜的时候,再数据库里读取?
    aifang
    aifang
    Aug 8, 2017
    69
    感觉好牛逼的样子,肯定比我牛逼,😁
    huangzitao
    huangzitao
    OP
    Aug 9, 2017 via Android
    70
    @jedihy 好的😄有时间去爬。
    @omg21 嗯是的
    @aifang 哈哈,耐心做其实不难
    weilongs
    weilongs
    Aug 11, 2017
    71
    上面那个搜私房不过瘾,http://wiseso.cc/search?keyword=DCIM
    aosp
    aosp
    Aug 11, 2017
    72
    我也很好奇,现在只能抓分享动态了吗?那不是得关注很多人
    mon3
    mon3
    Aug 15, 2017
    73
    @huangzitao 分享列表已经关闭了,你现在是咋爬的百度云?
    YoungBai
    YoungBai
    Aug 15, 2017
    74
    @weilongs 好骚的操作.果然一堆私房.
    weilongs
    weilongs
    Aug 16, 2017
    75
    @YoungBai http://www.fastsoso.cn/search 这个搜 私房,DCIM,我的照片,照片 过瘾 !!
    sunnyzhi
    sunnyzhi
    Aug 25, 2017
    76
    还不错,谢谢
    huangzitao
    huangzitao
    OP
    Aug 25, 2017 via Android
    77
    @sunnyzhi 老哥,不用客气
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1903 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 153ms · UTC 08:50 · PVG 16:50 · LAX 00:50 · JFK 03:50
    ♥ Do have faith in what you're doing.