在本地抓取大量数据并转存到本地数据库用 PHP 能否实现？

This topic created in 4523 days ago, the information mentioned may be changed or developed.

要在一个网站上面抓取大概十万个网页里面的数据，网站的抓取不是问题，url很规范

问题在于，我以前用PHP最多抓取一两个页面，也很快，但是这么多的数据，用PHP肯定会死~

但是不知道能否像写shell一样在本地运行PHP，没有时间限制也不会死

嗯，语无伦次了~大概就是这个意思

PS：我知道Python适合干这事，但我Python刚刚跑起helloworld，离运用还有很长的距离。。。。

PHP

抓取

Python

2 replies • 1970-01-01 08:00:00 +08:00

cxh116

Mar 29, 2014

php也可以脱离web server以命令行运行

http://www.php.net/manual/zh/features.commandline.php

csx163

Mar 29, 2014

php当然可以,甚至有人用php写了个"我的世界"手机版服务端