linux 服务器互相之间怎么传输 90G 网站文件？论坛附件非常多

doufenger · 2016-11-29T13:49:16Z

用 scp 传着太慢，而且时间久了就会导致服务器没响应今天想试试压缩了再传。。结果现在还没压缩好，还搞得一直要重启，不然会卡死（ 2G 内存的破 VPS ）

压缩

scp

VPS

服务器

79 replies • 2016-12-02 13:11:37 +08:00

airqj

Nov 29, 2016

9

1

顺丰.......

l0wkey

Nov 29, 2016

2

rsync

binux

Nov 29, 2016

1

3

rsync -z

l0wkey

Nov 29, 2016

1

4

另外，这些东西干嘛不丢到对象存储类服务。。

doufenger

OP

Nov 29, 2016

5

@l0wkey 只有这个了吗 OTZ 。。我就老安不好这个

doufenger

OP

Nov 29, 2016

6

@l0wkey 已经放了。但是还是想把文件也传好到新服务器。

db520

Nov 29, 2016 via Android

7

nginx
wget

shinko

Nov 29, 2016

8

我 800G 还是用 ssh 传~~

l0wkey

Nov 29, 2016

9

@doufenger 曲线救国，不从旧服务器 copy ，从对象存储服务 copy 。

doufenger

OP

Nov 29, 2016

10

ssh 传? 也是 scp 吗。这个简单好用，但是我传一会服务器就会卡死导致传输失败啊。你怎么做到的

doufenger

OP

Nov 29, 2016

11

@l0wkey 也是一个思路(⊙o⊙)哦谢谢。虽然还不知道应该怎么弄，但是可以去找找方法

doufenger

OP

Nov 29, 2016

12

@shinko ssh 传? 也是 scp 吗。这个简单好用，但是我传一会服务器就会卡死导致传输失败啊。你怎么做到的

lslqtz

Nov 29, 2016

13

sftp 在服务端传

Sasasu

Nov 29, 2016 via Android

14

才 90G ， sshfs 挂上去凑活着用

kozora

Nov 29, 2016

15

@doufenger linux 基本都自带了这个不需要额外安装另外你不需要免密码使用的话现有的环境就可以用跑个 screen 之后再开始传输 90G 不算大

l0wkey

Nov 29, 2016

16

用的哪家，兼容 s3 的话，可以用 s3cmd
s3cmd sync s3://xxxxx /home/xxx

doufenger

OP

Nov 29, 2016

17

OVO 还有那么多方法。等我一个个试吧

M3ng

Nov 29, 2016 via iPhone

18

btsync 可以么？

doufenger

OP

Nov 29, 2016

19

@l0wkey 用的 http://hellohostnet.com/hosting.html

akira

Nov 29, 2016

1

20

论坛附件多数是图片和压缩包之类的，打多个包不压缩会更好

doufenger

OP

Nov 29, 2016

21

@akira 我中午的时候就是进行了打包命令，被坑到现在。现在还没打包好。一直在生成包

jimzhong

Nov 29, 2016

22

才 90G 而已啦， mirrors.ustc.edu.cn 那么多文件都可以 rsync

shinko

Nov 29, 2016

23

@doufenger 我大概 30W 个文件吧，不过我的是服务器

missdeer

Nov 29, 2016 via Android

24

ftp

isCyan

Nov 29, 2016

25

打包成 tar 然后 http

ryd994

Nov 29, 2016

1

26

几百 G 的 kvm 磁盘镜像，还不是一个 scp -C 直传
连几十 G 的文件都搞不定，要 ssh 有何用
打包慢就 tar cf - 直接 pipe 给 ssh 啊
估计很多人还不知道 ssh 可以 pipe
文件可压缩就加-C

yangqi

Nov 29, 2016

27

论坛附件大部分都是小文件，肯定要用 rsync

colatin

Nov 29, 2016

28

rsync +1 不二的选择

sylecn

Nov 29, 2016 via Android

29

不用先压缩。用 rsync 传整个文件夹。如果服务器还有其它流量，可以加参数限制 rsync 带宽。

qyz0123321

Nov 29, 2016

30

@ryd994 支持，直接用 pipe 给 ssh ，然后用 dd 到远端。

9hills

Nov 29, 2016 via iPhone

31

不是很理解楼主，二楼就给了答案……结果 21 楼还在纠结压缩的事情

flyeblue

Nov 29, 2016

32

btsync 也是可以考虑的选项吧？这个比 rsync 用起来简单，个人感觉。

bao3

Nov 30, 2016 via Android

33

楼主别太折腾，楞以选用开源的 syncthing 或者闭源的 resilio sync (就是上面两位说的 btsync ），直接就解决了你的问题。

shiny

PRO

Nov 30, 2016 via iPhone

34

rsync 可以断点续传，同时记得开个 tmux 或者 screen

msg7086

Nov 30, 2016

35

screen / tmux
+ rsync
上 TB 的数据都这么传的。

yegle

Nov 30, 2016

36

nc

lakeview

Nov 30, 2016

1

37

rsync 可以断点续传，写个 shell 脚本检测 rsync 进程，挂了就再跑一次

minsheng

Nov 30, 2016 via iPhone

38

一楼加一， U 盘拷一下顺丰就好，何必那么麻烦

huijiewei

Nov 30, 2016

39

楼主用这个是最好的： https://github.com/axkibe/lsyncd

服务搭好后就不用管了，同步完以后停止服务就是了

waruqi

Nov 30, 2016 via iPhone

40

scp

lucifer9

Nov 30, 2016

41

直接 scp ？
好歹 tar -cJ /home/me/source/directory | ssh target tar -xJ --directory /home/you/target/directory 吧

alouha

Nov 30, 2016

42

tar 然后 scp ……

ChopinWong

Nov 30, 2016

43

rsync

goodryb

Nov 30, 2016

44

估计楼主的 VPS 磁盘性能不怎么样，瓶颈不在于网络，建议可以通过云服务的对象存储中转一下，国内提供云存储的基本都可以，推荐阿里云 OSS ，七牛，其它的不怎么熟悉。

snopy

Nov 30, 2016

45

供参考
#!/usr/bin/expect

spawn scp root@ip:/root/check/today_count.log /home/autowork/everyweek_check/from_232
expect '密码: '
send "密码\r"
interact

备注： Linux 文件大于 1G 的使用 scp 会受限制，可采用 split 分片之后传输。
1 ）分割大文件
split -b 1000m a.tar.gz a.tar.gz. #后面输出的文件名 a.tar.gz. 会以 a.tar.gz.aa ， a.tar.gz.ab ， a.tar.gz.ac 形式输出,

2 ）合并
cat a.tar.gz.* > a.tar.gz