有几个分散在不同网站的信息来源,不定时有更新。
想每天把新的内容聚合起来发邮件到邮箱里,有什么好方法?
有几个分散在不同网站的信息来源,不定时有更新。
想每天把新的内容聚合起来发邮件到邮箱里,有什么好方法?
|
lxy42Jun 27, 2015
1
RSS
|
|
2
没有 rss,想用 python 来抓
|
|
lawderJun 27, 2015
3
用Feed43生成rss源
|
|
4
@lawder 这种只能抓取固定网址更新的内容,如果遇到一个长贴子,页数会变化的就不行了。
举例:想获取 http://www.china-midas.cn/bbs/thread-26016-20-1.html 的最后一个 post 的更新内容 |
|
mystrylJun 27, 2015
5
requests 抓url= 'http://www.china-midas.cn/bbs/thread-26016-%s-1.html' %page,
page么从20开始加 试到没抓到内容就停止 beautifulsoup抓取每一个div 为 ‘post_元素,Html2text转为纯文本,注意这货有个warp=87的bug自己改下config post后面有数字作为每一个的id 这样输出的数组建个csv,新抓的历遍一次id有没有重复的,没有重复就给自己发,可以用新的telegram bot啊,很方便。。。 最近才写了一个完全类似的项目。。。好玩的 |
|
ksupertuJun 27, 2015 via Android
6
军犬舆情监控系统
|
|
mystrylJun 27, 2015
7
|
|
loadingJun 27, 2015 via Android
8
如果想通用,我觉得你要先写出 AI ,乖乖一个个站点适配吧!
要么就暴力点,全再抓一次了再说。 |
|
halfcrazyJun 27, 2015
11
kimonolab
|