JamesWone
V2EX  ›  成都

亲爱的 v2ex,我要向你道歉。

  •  
  •   JamesWone · Dec 31, 2015 · 6679 views
    This topic created in 3967 days ago, the information mentioned may be changed or developed.

    昨日下午三点半左右,你们运维肯定检测到了一股来自成都某地的异常 IP 。
    额,没错那是我干的~

    事情是这样滴,前两天闲着没事又无聊~然后我就尝试着自己写了个多线程爬虫框架...两天功夫,就写完了...写完了得测试啊...然后我就寻思着写了个 DEMO...

    额,就是这个啦...https://github.com/JamesWone/Spy

    然后今天我想再测试的时候,整死跑不出东西...我还以为我代码有问题呢...于是重构..再跑..再重构..再跑~要抓狂了有木有....
    难道是我 ip 被小黑屋了?打开 Chrome....果然被"Acceess Denied"了....

    oh~mygod~我完全不是故意的啦~一股罪恶感犹然而上心头~希望 V2EX 不要封我的号啦~毕竟这是我的处女贴啊~QAQ

    额~事情就是酱紫...

    PS:你们运维反应真快,为 V2EX 点个赞~

    27 replies  •  2016-01-06 02:57:54 +08:00
    Liang
    Liang
    Dec 31, 2015
    1
    大大已报警了。。。看看你最近是否有快递
    Ellison
    Ellison
    Dec 31, 2015
    2
    然而...你多 F5 试试...
    JamesWone
    JamesWone
    OP
    Dec 31, 2015
    3
    @Liang 大哥我胆子小~不要吓我~
    Slienc7
    Slienc7
    Dec 31, 2015
    4
    后台程序自动封的,访问频率过高自动屏蔽对应 IP ,这种应该还不需要人工操作,安心。
    JamesWone
    JamesWone
    OP
    Dec 31, 2015
    5
    @xgowex V2EX 昨天都是可以爬的,明显今天才加的反爬虫措施。
    sandideas
    sandideas
    Dec 31, 2015
    6
    自动封的。。
    我记得以前弄自动签到的时候有个错误没想出为什么
    多弄了几次就被封了三天
    warlock
    warlock
    Dec 31, 2015
    7
    spy.go 49 行 for w.resp == nil {} 这不会死循环吗?
    Slienc7
    Slienc7
    Dec 31, 2015
    8
    @JamesWone 几年前就有了。
    JamesWone
    JamesWone
    OP
    Dec 31, 2015
    9
    @warlock 那个 for{}是为了起阻塞的作用,因为不确定 goroutine 是否已经执行完毕。
    justjavac
    justjavac
    Dec 31, 2015
    10
    如何看待知乎又挂了?
    justjavac
    justjavac
    Dec 31, 2015
    11
    靠,发错地方了。 https://www.v2ex.com/t/247465
    JamesWone
    JamesWone
    OP
    Dec 31, 2015
    12
    @justjavac 我用 PHP 有写过一个知乎爬虫,然后当天下午知乎就挂了,那一夜我彻夜难眠....
    justjavac
    justjavac
    Dec 31, 2015❤️2
    13
    @JamesWone 之前我用 C 语言写过一个 hello world ,结果那天晚上汶川地震了,那一夜我彻夜难眠....
    warlock
    warlock
    Dec 31, 2015
    14
    @JamesWone
    1 、 golang 的包名 似乎应该小写
    2 、我感觉那里不需要你自己阻塞
    3 、死循环也叫阻塞?
    mystryl
    mystryl
    Dec 31, 2015
    15
    我三脚猫的功夫写了一个脚本爬限制 ip 的收费资讯网站 5 分钟一次
    跑了 3 个月了。。。。期间客服问过我一次干嘛的,我说我挂了个自动刷新
    然后就没事了。。
    imn1
    imn1
    Dec 31, 2015
    16
    @justjavac
    还是你厉害!!!
    usb
    usb
    Dec 31, 2015
    17
    @justjavac 23333
    lxjsmdc
    lxjsmdc
    Dec 31, 2015
    18
    我每天都 Acceess Denied 几次
    等 10 分钟过后就行了

    因为我习惯每次打开 N 个帖子再浏览
    JamesWone
    JamesWone
    OP
    Dec 31, 2015
    19
    @warlock 关于阻塞这个是版本遗留问题了,因为第一版的时候 Spy 句柄是可以在 Filter 中动态的异步回调的,第二版然后就去掉了异步回调改成了 Spy.Sub()同步回调,这样其实这个 for{}就没有必要了,多谢你的提醒哦,我会更进的。
    JamesWone
    JamesWone
    OP
    Dec 31, 2015
    20
    @justjavac 纠正一下,汶川地震是下午....
    angryRabbit
    angryRabbit
    Dec 31, 2015
    21
    我觉得你这不叫爬虫,叫静态网站生成器。。。
    JamesWone
    JamesWone
    OP
    Dec 31, 2015
    22
    @angryRabbit 233333....
    yeyeye
    yeyeye
    Dec 31, 2015
    23
    楼主你好 我们强大的运维告诉你 你的 IP 被自动封禁了 我们的运作并没有受到影响 我们甚至根本就没关注到你的行为 你就被系统干掉了……
    cz208209
    cz208209
    Dec 31, 2015
    24
    '我要进去了'
    ‘快点’
    ‘我进去了’
    ‘快点’
    ‘我弄疼你了’
    ‘你 TM 的到底进不进去’
    46fo
    46fo
    Dec 31, 2015
    25
    @lxjsmdc 握下手
    zjqzxc
    zjqzxc
    Jan 2, 2016
    26
    用 surface 的时候从来没 Acceess Denied 过。。
    用台式机经常 Acceess Denied ,,然后就得开全局代理先凑合一下。。
    (都是正常使用)
    一直没想明白为啥(都是 chrome 而且已登陆,插件会自动同步)
    dbdd
    dbdd
    Jan 6, 2016
    27
    看得我胃里一阵翻腾,还好没吃晚饭
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1879 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 15:44 · PVG 23:44 · LAX 07:44 · JFK 10:44
    ♥ Do have faith in what you're doing.