要爬的数据量比较大，机器配置还不高，请问怎么搭配最优
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 2544 days ago, the information mentioned may be changed or developed.
 |
renmuNov 16, 2019 via Android
1
MongoDB 简单粗暴
|
 |
lhx2008Nov 16, 2019 via Android
2
文本追加
|
 |
eq06Nov 16, 2019
3
多线程吗？多线程弄 SQLite 拆几个数据库呢
|
 |
w2erNov 16, 2019 via iPhone
4
搬好小板凳，听大佬讲课
|
 |
tomczhenNov 16, 2019
5
哪个数据库熟悉用哪个，爬太快小心变成 DDOS/CC 直接进去包吃包住。
|
 |
ClutchBearNov 16, 2019
6
阿里云的 表格存储
|
 |
RicardoYNov 16, 2019 via Android
7
配置不高就直接写文件 或者 MongoDB 现在 v2 一提到爬虫就是监狱警告..
|
 |
FaceBugNov 16, 2019
8
配合消息队列先，再管数据库
|
 |
locozNov 16, 2019
9
数据量比较大是多大？配置不高是多高？爬完之后要做什么用？数据分析还是文本检索？啥都没有那只能说哪个熟悉用哪个了
|
 |
10
只写过玩具爬虫。一点其他领域得来的拙见：如果存储空间够的话，postgres 的插入速度完全够用：用 N+1 个线程，N 个线程往 1 个 queue 里面写数据，1 个线程定期（ 100ms ）将数据 bulk insert 到数据库。普通的 insert 可能吃力。
也建议了解 Cassandra。 mongo 可能速度不够用。 |
1 |
wangyzjNov 16, 2019
11
kafka -> es
|
 |
scriptB0yNov 16, 2019
12
Mongo 最简单实用了，感觉到千万的数据都问题不大。再大可能要具体情况具体分析了。
|
 |
dbowNov 16, 2019
13
选一个 Key-Value 数据库用， 比如 leveldb, rocksdb 啥的， 自建 Mysql 顶不住千万级写入。
|
 |
ClericPyNov 16, 2019
14
这个不能闭着眼来啊...
数据量大, 有多大? 不过单机放的下, 估计也不会有太大... 数据类型是什么样的, 结构化? 半结构化? 非结构化? 文章那种段文本? 用途是什么, 热数据还是冷数据, 给什么部门用, 怎么用 你这问的有点宽泛了, 如果是跟我一样的羊毛机, mysql 可以涵盖多数需求了, 几百兆内存能跑起来一个 |
 |
15
大家分析的好专业，暂定 mongo 谢谢各位
|
 |
wangxiaoaerNov 16, 2019
16
无脑用 MongoDB 的怕不是磁盘不要钱？
|
 |
0x400Nov 16, 2019 via Android
17
.csv
|
 |
sadfQED2Nov 16, 2019
18
mongodb 后期做分析好用，另外容错率高，比如爬价格，Mysql 你用 int 存，但是某个数据可能给你返一个“100 以上”，然后你就 GG 了，如果 mysql 用 json 存，后期分析数据贼难用
But，用 mongodb 可能机器配置要求比 mysql 高，装了 mongodb 的机器基本上没法干其他的了 |
 |
lc7029Nov 17, 2019
19
MongoDB
|
 |
encroNov 17, 2019
20
分布式爬虫:
缓存队列在 redis 部署开发方便, 索引存 mysql 查询方便, 内容存 leveldb 压缩比好 |
 |
onyourroadNov 18, 2019
21
爬虫是犯法的知道吗？
|
 |
indicoliteplusNov 18, 2019 via iPhone
22
postgres 吧，存 json 也无压力。mongodb 虽说对开发友好，但是对业务就有点恶心了
|
Select Language