服务器上有 3 个 t 的数据大概由百万级别数量的小文件构成,现在挂了一个 5 个 t 的硬盘想把 3 个 t 的数据备份到硬盘上有啥好方法么 cp mv rsync tar 都试过了 不太好使
This topic created in 1983 days ago, the information mentioned may be changed or developed.
 |
wtfcworldJun 2, 2021
1
dd ?
|
 |
AoEiuV020Jun 2, 2021
2
ghost?
或者整个硬盘 dd 过去再 resize 分区, |
 |
F281M6Dh8DXpD1g2Jun 2, 2021
3
tar
|
 |
doyelJun 2, 2021
4
dd 最快
|
 |
hulala1021Jun 2, 2021
5
rsync 应该没问题诶，我现在同步上百万的文件，没啥问题
不过我是从无到有增量同步的，不是一下字有上百万文件 |
 |
westoyJun 2, 2021
6
dd 到新硬盘， 再 resize2fs 扩容
|
 |
lerryJun 2, 2021
7
硬盘快照，具体要看是什么文件系统
|
 |
mingl0280Jun 2, 2021 via Android
8
partclone 好。
|
 |
liuguangxuanJun 2, 2021 via Android
9
rsync 会碰到什么问题？
|
 |
kokutouJun 3, 2021 via Android
10
先看看你的 5t 硬盘是不是叠瓦。。。
挂着不管放机房拷几天也就拷完了。 |
 |
aloxafJun 3, 2021
13
|
 |
14
机械硬盘的话试试这个 https://github.com/heguangyu5/qtar
原理就是先给要 copy 的文件排序,让接下来 tar 读取文件时尽可能少地移动磁头什么的,时间有点久记不清楚了. 我们用这个工具迁移了千万数量级小文件,比简单的 cp 什么地快很多. |
1 |
VariazioniJun 3, 2021
15
@wtfcworld 不懂就问。。dd 是什么。。。
|
 |
PythondrJun 3, 2021
16
|
 |
MarkLeeyunJun 3, 2021
17
rm -rf .* 最快，哈哈。
|
 |
wangkun025Jun 3, 2021
18
dd: Copy and convert (called dd because cc is already in use by C compiler)
|
|
wangkun025Jun 3, 2021
19
@MarkLeeyun 差评
|
 |
iphoneXrJun 3, 2021
20
只要是涉及到大量文件迁移备份和同步的 统一推荐使用开源软件 rclone 自带校验比对和状态输出。
上面很多人回复都是没实践过，瞎扯淡。 |
|
AoEiuV020Jun 3, 2021
21
@iphoneXr 本来就很慢了，再校验一下岂不是更慢了，一般硬盘对拷也不会出错，不需要这种东西吧，
而且看了下官网也没提 dd 之类的，竞品只是 rsync, cp，怎么到你这里好像都能吊打 dd 了似的， |
 |
X0rayJun 3, 2021
22
请问下楼主 cp / mv 哪里不好了
|
 |
wzq001Jun 3, 2021
23
|
|
wzq001Jun 3, 2021
24
|
 |
newmlpJun 3, 2021
25
当然是硬盘对拷最快
|
 |
msg7086Jun 4, 2021
26
叠瓦盘拷 3T 小文件可以拷一年……
|
 |
maxbonJun 4, 2021
28
试试 unison，之前百万级别的文件用这个效率还行
|
 |
29
@heguangyu5 谢谢老哥用你推荐的方法 成功了
|
Select Language