PHP +mysql 如何执行一个长时间的导出任务？

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 2899 days ago, the information mentioned may be changed or developed.

一个资料筛选和导出任务，涉及多个表，每个表有 10-30 个字段，很多字段会被定制比如省份和城市，可以让用户选择哪个省和哪个城市，如果一次需要导出个十万条，就要执行十万次循环，每次循环执行几十次筛选条件，cpu，
内存，时间什么的都是压力。

怎么写可以实现？

导出

字段

筛选

执行

14 replies • 2018-12-01 18:44:44 +08:00

glacer

Nov 30, 2018

这个应该是数仓的活

ferock

Nov 30, 2018 via iPhone

命令行

orqzsf1

Nov 30, 2018

缓存？

aloyuu

Nov 30, 2018

最致命的是 PHP 有超时......

teg1c

Nov 30, 2018

异步队列处理吧。

oneonesv

Nov 30, 2018

php-cli 异步处理

pinews

Nov 30, 2018

确定不是黑？

changepll

Nov 30, 2018

@pinews 你让我笑出声

pinews

Nov 30, 2018

@changepll
@aloyuu
@oneonesv
@ferock 长时间执行可以考虑 set_time_limit(0)，然而这和 php 没关系吧，具体在说什么不知道，若确实程序复杂，可以生成中间表，分批完成。

947211232

Nov 30, 2018

方案一：死数据一次写入缓存就够了，往后直接读取缓存

947211232

Nov 30, 2018

方案二：死数据写配置文件 json 格式什么都好，能读出来就可以

947211232

Nov 30, 2018

方案三：影响 php 性能的尽量找合适的工具、方案，又不是上学时候老师规定只能 php+mysql

gujinxin

Dec 1, 2018 via Android

异步队列吧，好了之后把文档存在目录上，给前端推消息，前端点击下载

DylanChou

Dec 1, 2018

存储过程？