主要用来存实验数据（还有 djj ）小文件特别多（ 300 万个），加起来没多大，4T 左右。百度盘超级会员还有 2 年，前几天公开课被百度替换成 8 秒教育片，实在忍不了，开了一个月 10TB Google One （因为 G Suite 有 40 万文件限制），rclone 用了半个月传完，发现文件夹大小都看不了，文件传没传完都不知道，打算自建。目前服务器用的是 Nextcloud，别的没问题，3900X + 32GB RAM 的服务器 300 万文件光索引就用了 2 天。干什么都要扫描 2 天，搜索一次 20 分钟没出结果。查了下有人推荐 Filerun 听说对大量文件支持很好。不知道有没 V 友用过？
This topic created in 2279 days ago, the information mentioned may be changed or developed.
 |
XusuallyAug 12, 2020
1
群晖？
|
 |
3
我觉得，你的问题在于，自己的知识水平，是一个急需扫盲的阶段，却又想着做一些博学家阶段才能做的事情。
比如你说，索引用了 2 天，搜索一次 20 分钟没结果，问题是，索引与搜索阶段，你有没有分析过设备负载？甚至给开源产品直接调试做性能分析？ 你这种情况，最实际的就是，直接把需求，外包给公司，花钱让别人帮你做。 |
7 |
bigmomoAug 12, 2020
4
seafile 用专业版
|
 |
ruixueAug 12, 2020
5
G Suite 的个人云端硬盘并没有 40 万文件限制，有限制的那是共享云端硬盘，但是也没限制共享盘的数量
G Suite 可以用第三方 api 客户端来查看文件夹大小，比如 AirExplorer 等，也可以用虚拟云端硬盘直接挂载查看 |
 |
zu1kAug 12, 2020 via Android
6
大量非结构化的小文件应该用对象存储吧
|
 |
fhsanAug 12, 2020
7
建议 ntfs + winnt + everything，秒处理
|
 |
zachlhbAug 12, 2020 via Android
8
nextcloud 要用 postgresql 数据库，性能提升不是一星半点
|
 |
desAug 12, 2020
9
|
 |
10
|
 |
wtks1Aug 12, 2020 via Android
11
慢，是不是因为磁盘 IO 性能差？
|
 |
zacklin99Aug 12, 2020 via Android
15
目前用的 docker+owncloud+MySQL，感觉没啥大问题。
|
 |
festoney8Aug 12, 2020
16
文件名搜索和文件夹大小统计的话，NTFS 的 mft 表挺适合处理这个，用这个特性，everything 做快速搜索，wiztree 可以做快速文件夹大小统计
|
 |
gjfAug 12, 2020
17
从技术角度看，如果是用自己的硬件的话（内网），可以使用至少 3 台以上 Linux 安装类似于 FastDFS 或者 MongoDB （ GridFS ）分布式文件系统组成集群（高可用、有容错），这样做比较麻烦，需要自己写代码用 API 对接文件系统。
如果上云的话就是对象存储了呗 |
 |
misty8873Aug 12, 2020
18
用对象存储吧 简单方便。。。
|
 |
HansahAug 12, 2020
19
everything 不行?
|
 |
yyybAug 12, 2020
20
如果我说用 nfs+samba+ftp 共享同一目录会有人抽我么？在家 windows 电脑挂载 samba，linux 挂载 nfs，在外用 ftp
|
 |
jianixrabbitAug 12, 2020 via Android
21
@yyyb 抽啥 很多 nas 软件也实现了一样的用法
|
 |
calmzhuAug 12, 2020
22
如果每日流量不大的话，直接试下阿里 oss 存储？
自带了客户端上传下载都方便。 就是一个网络硬盘，免维护。 |
 |
lishoujunAug 12, 2020
26
rockedsdb 满足你的需求么？ 数据量太大是否可以分片呢？
=========== 公开课被替换 和你的实验数据存储在百度云有冲突么？ 可以申诉的，即使嫌麻烦不想申诉，似乎也不影响你存实验数据 |
 |
loveqianoolAug 12, 2020
28
七楼说的 ntfs + winnt + everything
移动设备用 RDP 呀 |
 |
30
OneIndex,PyOne 搭建。白嫖开发者账号。空间基本用不完。
|
 |
SingeeKingAug 13, 2020
33
G Suite 肯定没有 40W 数量限制，我之前还写 nodejs 的时候几十个项目的 node_modules 扔里面都没问题，更别说我自己还有十几 T 的文件了
|
 |
yeetAug 13, 2020
34
不算是回答 只是说下
rclone 有可以检查文件数量和大小的 size 命令 返回有多少文件 文件大小 也有可以对比两边文件(夹)一致性的 check 命令 |
 |
fkmcAug 13, 2020 via iPhone
35
nextcloud 加 es 全文搜索
|
 |
lc7029Aug 13, 2020
37
NAS 算吗？
|
 |
WhatZAug 13, 2020 via Android
38
自建的硬盘 io 和服务器负载,如果负载太高还是升级吧
|
 |
fantasylidongAug 13, 2020 via Android
39
g suite 个人盘并没有大小和文件夹的限制，文件夹大小你都用 rclone，不知道用 rclone 的命令看一下，而且 rclone 也可以检验
|
 |
vislinsAug 13, 2020 via iPhone
40
技术不行+数据不值钱+自己的时间不值钱系列。
|
 |
keventsengAug 13, 2020
41
不想白裙，那就上台黑裙：P ）入台矿渣就满足需求了。
|
 |
KagurazakaNyaaAug 13, 2020
43
这种情况还是用对象存储吧，gcp 的 Storage 或者 AWS 的 S3 都不错
|
 |
evilicAug 13, 2020
44
我的建议是一台高性能的 nas，加一台多盘位的低性能 nas 做备份（或者直接忽略此项）。
高性能的 nas 开启 webdav，如果有外网 ip 或者能穿透的话，所有平台使用 raidrive 之类的挂载到本地电脑上。nas 可以同时开启索引功能，由于性能高，或许能够解决些问题。备份的话，将指定的目录直接同步到多个 google 或其它平台的对象存储上（如果不放心，就找另外一台 nas 自动同步过去备份）。 个人使用的话，我是不建议搭建 ceph, hadoop 对象存储, openstack 对象存储 这类的。因为多副本硬盘成本太高了不说，集群网络性能的要求也不低。价格成本和学习成本太高了。 |
 |
byzfAug 13, 2020
45
三百万文件扫两天? 一秒扫 17 个文件? 你这索引是不是把文件内容也索引了?
我觉得肯定没到机器性能问题这一步. |
 |
chinsAug 13, 2020 via Android
46
有，但是是 cloudreve 哈哈哈
|
 |
pkwendaAug 13, 2020
47
minio，碎文件小文件---大文件(5T) 都可，存储非结构化数据，自带类似百度网盘的分享，上亿文件也没问题，搭建很简单
https://niubility.me/1b67547c71f64aec889fd5b9f47cedd2 |
 |
xmh51Aug 13, 2020
48
seafile 试一下 存储机制不一样
|
 |
darkerlightAug 13, 2020
49
在等易有云 2 完善
|
 |
locozAug 13, 2020
50
nextcloud 和 seafile 都一样，碰到大量文件就特别慢，但是不至于慢到扫描两天...建议检查一下具体是哪里的问题。
|
 |
junefoxAug 13, 2020
51
可道云？
|
 |
xz410236056Aug 13, 2020
52
@naohion 3900X 功耗太大，淘宝 or 咸鱼买星级蜗牛这种矿难机。300 来块且低功耗，店家还给你装好黑群。省事不操心
|
 |
TEwrcAug 13, 2020
53
nextcloud 确实是慢 我之前有十多万张图片传上去，移动端 app 连上去经常加载不出来，刷新都很费劲
|
 |
smallthingAug 15, 2020
55
@naohion 3900x 没独显能开机吗 还真没试过
|
 |
shentarAug 16, 2020
56
对象存储适合存储数据，前缀（目录）检索。
但是 djj 哪家都不会收，除非自己重新编码一下文件。 推荐本地 windows server + everything，300 万毫无压力。 |
Select Language