suepercall() / os.system()

用 multiprocessing 库， Queue 来实现 FIFO 的任务队列，当时爬的是拉钩，自己之前写过一个学习用的 demo ，比较简答，有注释，可以直接套用：

<script src="https://gist.github.com/Allianzcortex/99effde0ae0e4ddb51411262c6675e50.js"></script>

所以最终原则是不要在 Windows 下编码,否则 GBK 会把你弄疯的。看了一下源码，其实是不用手动构造 query_url 的。 requests 里有一个参数是 params,直接用一个 dict 传进去就可以了。

我算是半个科班出身⊙﹏⊙b ， 211 。真没觉得自己的水平有多高……不过还是自己的问题，学校里有牛逼到炸的那种。高中搞 OJ 的话会有很大的优势。

挺有意思的一个应用。 argparser + termcolor 应该也可以

@brucedone 可能是我做的还没有到 GB 级这种数据，更喜欢自己写一些内部的东西吧。不过 scrapy 自定义 proxy 这种方式真是特别喜欢，因为我是 Django 党 O(∩_∩)O 哈哈哈~

所以这就是自己为什么在写完 [scrapy-demos]( https://github.com/Allianzcortex/scrapy-demos) 后就决定再也不用 scrapy 的原因⊙﹏⊙b ……爬虫框架用起来自定义程度总是不高～

用 requests+Selenium+PhantomJs 多线程爬虫的时候用的是 mp.manager.dict() 来存储已经访问过的网站，如果发现再次访问就直接跳过

我能想到的就是 Bloom Filter ，按照上面所说用 redis 来去重应该也可以

EVAL ……楼主你这真是开脑洞，方法 1 是官方推荐的方法，次优的方法应该是用工厂函数：

list_a=list(a.replace(',',''))

requests 源代码里的解决方法是在 __init__.py 里引入～

Allianzcortex

我想说的已经被 @awanabe 说了…… @decorator 是个好东西

@zqhong 大家都是野生程序猿 2333

@zqhong dict 自带 copy ，可以考虑用 d2=d1.copy()～

如果要完全分离的话，或者避免在原地址上操作，或者用 deepcopy ……

可变和不可变,immutable,主要在拷贝方式的定义上

LZ 看我之前在另一个问题下的回复吧

＠ niuoh 这种问题没有比 SO 讲的更好的。实际上这是伸手党问题。说的不好听，这是对自己和别人时间的不负责任。我要不是实在论文写不下去了是不会回复的

我觉得我已经把这一块讲完了……其他的部分 LZ 自己去 SO 搜吧

擦……为什么是这种拍板,空格怎么变的这么大

Python 的内存机制是引用计数。对 a=[1,2,3],实际上是在内存里有一个 [1,2,3]，然后增添一个引用， reference_count+1,指向 a;

b=a,则 [1,2,3] 的 reference_count 再＋１，指向 b

b.remove(1) 修改的是它所指向的对象：由[1,2,3]变为[2,3];而 a 和 b 指向的是同一个元素，都显示[2,3]

---

顺便说一下　 @kendetrics 的拷贝是怎么回事

Python 里有两种拷贝方式， shallow copy 和 deep copy

如果你想 a 和 b 完全隔离开，用这种方式:
import copy
b=copy.deepcopy(a)

如果你用 b=a[:] 这种方式，实际上还是浅拷贝，和 b=list(a) 工厂函数效果是一样的。

这样的话用 b.remove(1) ,a 不受影响；这是因为 a,b 里面都是数字，是 immutable 不可变对象;

如果这样,a=[1,2,[3,4]],b=a[:],你修改 a[2].append(5),则 a=[1,2,[3,4,5]],b 也同样变化， b=[1,2,[3,4,5]]，因为 a[2]是一个 list,是 mutable 　可变对象