syhsyh9696
V2EX  ›  问与答

把一个小爬虫写成了个简单的网站(Avdict) 是不是没救了。

  •  1
     
  •   syhsyh9696 · Oct 11, 2017 · 10769 views
    This topic created in 3315 days ago, the information mentioned may be changed or developed.

    网站不是很大,部署挺方便,我在自己家 nas 里部署了个,功能一点一点往上加吧。

    恳请大家提点意见,几个小时后关吧,小水管可能会猝死...

    Demo

    Source code

    32 replies  •  2017-10-12 12:46:44 +08:00
    kslr
    kslr
    Oct 11, 2017
    1
    NSFW
    ys0290
    ys0290
    Oct 11, 2017 via iPhone
    2
    技术交流,嗯!
    takanasi
    takanasi
    Oct 11, 2017❤️1
    3
    你人在国内吗?
    cominghome
    cominghome
    Oct 11, 2017
    4
    哇,大兄弟玩的 6 啊,来一个长期会员
    ranleng
    ranleng
    Oct 11, 2017 via Android
    5
    收藏之
    wfd0807
    wfd0807
    Oct 11, 2017
    6
    666
    laoertongzhi
    laoertongzhi
    Oct 11, 2017
    7
    有趣~
    mokeyjay
    mokeyjay
    Oct 11, 2017
    8
    项目 666666,但是你居然敢挂国内,作死噢,赶紧下了吧
    jpyl0423
    jpyl0423
    Oct 11, 2017
    9
    自己也撸过一个, 不过就我一个人用
    simonlify
    simonlify
    Oct 11, 2017
    10
    666
    jko123
    jko123
    Oct 11, 2017 via Android
    11
    起码自适应弄好吧
    misaka19000
    misaka19000
    Oct 11, 2017 via Android
    12
    10s 没打开
    Tunar
    Tunar
    Oct 11, 2017 via Android
    13
    俺要封面
    syhsyh9696
    syhsyh9696
    OP
    Oct 11, 2017
    14
    @kslr 哈哈哈是的相当危险。
    syhsyh9696
    syhsyh9696
    OP
    Oct 11, 2017
    15
    @takanasi 我还只是个学生啊(逃
    @cominghome 你可以自己部署一下体验自己做站长的感觉(逃
    syhsyh9696
    syhsyh9696
    OP
    Oct 11, 2017
    16
    @mokeyjay 哈哈没部署,跑在 development 下
    syhsyh9696
    syhsyh9696
    OP
    Oct 11, 2017
    17
    @chen2016 您的意思是,影片那个封面大小吗?还是在手机上不合适?如果是后者的话请见谅,我最近学学响应式,我对前端真是一窍不通哇。
    syhsyh9696
    syhsyh9696
    OP
    Oct 11, 2017
    18
    @misaka19000 可能是我小鸡的问题抱歉抱歉。
    @Tunar 14 多万张,老哥要吗给你数据库哈哈哈
    codermagefox
    codermagefox
    Oct 11, 2017
    19
    楼主牛逼,做了我一直想做不敢做的事
    7654
    7654
    Oct 11, 2017
    20
    看完只能说 NB
    jko123
    jko123
    Oct 11, 2017 via Android
    21
    @syhsyh9696 你用的是 bootstrap,自带自适应,只需要加个 meta
    sxm
    sxm
    Oct 11, 2017 via Android
    22
    几个月前用 PHP 做过一个,各种尺寸图片全部抓取差不多 400G 左右,再写了个数据展示,基本和原站类似。当时踩的坑是,单个文件夹内存放了百万+的小文件,导致之后文件夹复制删除那耗时惨不忍睹。
    syhsyh9696
    syhsyh9696
    OP
    Oct 11, 2017
    23
    @sxm 源站是,javlibrary 还是 dmm.r18 。

    如果是全下载的话还是应该影片文件夹分别储存啊~
    我分析了一下数据库里的 url,里面的很多照片是可以构造出来的,所以我没抓图片。

    主要是我硬盘不够用了(哭, 已经 4 个移动硬盘了,ssd 里还有好多电影没法存呢(哭
    clearbug
    clearbug
    Oct 11, 2017 via Android
    24
    到底咋播放啊?用手机点 video 找不到播放入口啊
    tf141
    tf141
    Oct 11, 2017
    25
    半天没打开。。。。。。
    sxm
    sxm
    Oct 11, 2017
    26
    @syhsyh9696 源站是 javbus,当时也只是写写玩的,只按图片类型及尺寸分文件夹,忘记了单个文件夹内文件过多的问题。之后转移到另一块硬盘上时才发现,那复制速度,差不多一天了。删除时只好把硬盘上的其他大文件又转移下,然后直接格盘了。影片数量大概 30 多万吧,我发现大图他是直接引用 DMM 的,而 DMM 编号与番号略有差异,所以抓取时就直接存图片 URL,毕竟也要不了多少容量。硬盘我也是不够用,本机上的 2 块硬盘可用空间常年是 20G 不到,移动硬盘我是用 3.5 硬盘+硬盘盒
    tedd
    tedd
    Oct 11, 2017
    27
    居然有 30 多万部? Orz
    syhsyh9696
    syhsyh9696
    OP
    Oct 11, 2017 via Android
    28
    @sxm 这样子 Javbus 骑兵步兵都有,这个很不错,但是我感觉分类稍微乱了点,而且 jbus 在 github 上已经有许多项目了。我现在还是个穷学生啊…只有一台笔记本,等以后挣钱了搞一套像样的存储好好整理一番再数据挖掘下(逃

    我可是拥有天使萌所有影片的(逃
    sosloop
    sosloop
    Oct 11, 2017 via Android
    29
    赶紧 fork,^_^,感谢楼主
    yangonee
    yangonee
    Oct 12, 2017 via Android
    30
    用 avgle 啊,有 api
    syhsyh9696
    syhsyh9696
    OP
    Oct 12, 2017
    31
    @yangonee 我这个也有哇,只不过还没完善好
    jasondan
    jasondan
    Oct 12, 2017
    32
    = =握爪,楼主。我之前也搞过类似的,不过不敢放给大家用
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   545 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 65ms · UTC 19:27 · PVG 03:27 · LAX 11:27 · JFK 14:27
    ♥ Do have faith in what you're doing.