在不考虑安全的前提下，如何设计一个方案，实现 4 个 G 的文件的快速异地传输？比如从北京到上海... 面试的时候没答上来，求大佬们指点迷津
moran3649 · Aug 6, 2019 · 23372 viewsThis topic created in 2658 days ago, the information mentioned may be changed or developed.
Supplement 1 · Aug 6, 2019
萌新第一次发帖没注意标题长度，是这样的，就是不要求安全，仅要求效率，怎么快怎么来
 |
1
高铁
|
10 |
qinruiAug 6, 2019 via iPhone
2
办个宽带，然后就可以传了
|
|
3
4 个 G 好像不合适，不过可以采用凑单，多叫几家拼单模式
|
 |
4
看这道题的考点是什么?
网络: TCP/UDP ? 工具: scp/rsync ? |
|
qinruiAug 6, 2019 via iPhone
5
去网吧也行，不过很多网吧封了 usb 口
|
 |
1239305697Aug 6, 2019
6
QQ 传，要发在线的，离线的慢
|
 |
geekvcnAug 6, 2019
7
有网的话几万种方式.......没网??
|
 |
8
反正我们公司每天从上海到东京传几十 G 的数据用 rsync
|
 |
9
4G 对于现在网络又不算很大，同时给定前提“不考虑安全”，还没有上下文。
完全抓不到 key point 在哪里。都不考虑安全了，那就随便搞呗，反正不考虑安全。用啥方法不行。 1、随便弄个支持断点续传的网络传输方式，比如 FTP 2、20 块钱买个 U 盘，邮寄 |
 |
shengchaoAug 6, 2019
10
smb frp webdev .........等等等等等等等
|
 |
mushishiAug 6, 2019
11
rsync ？ syncthing ？
|
 |
TakamineAug 6, 2019
12
开一个虫洞。
|
 |
foreverstandbyuAug 6, 2019
13
不考虑安全，说明资金有限，不能使用专线传输。
除此之外最快的方法，传到 CDN 上如何？ |
 |
14
|
 |
15
用 5G 啊，面试官如果敢说不对，你就举报这家公司乳滑
|
 |
zsc8917zscAug 6, 2019
16
1、做成种子
2、百度网盘 3、自己架个服务器 快速有多快，不是取决于网络出口带宽和对方的下行带宽么 |
 |
greatdancingAug 6, 2019 via Android
17
快速是多快？ 200ms?
2 天？ |
 |
18
你应该回答：不考虑安全传输文件，犹如不考虑合不合法去赚 1 个亿，这种场景在我的职业生涯中是不允许出现的，所以我不做这道题。
|
 |
badcodeAug 6, 2019 via Android
19
没说背景？
有网，没说本地和异地带宽？ 没网，人工搬运？ |
 |
20
创建 VPN 设为共享 复制粘贴
|
 |
rb6221Aug 6, 2019
21
只要网速快就行
|
 |
lpf0309Aug 6, 2019 via Android
22
想买路由器时看到蒲公英有宣传这个功能，应该是楼上说的 vpn
|
 |
jinliming2Aug 6, 2019 via iPhone
23
做成 BT 种子
|
 |
wweirAug 6, 2019
24
百兆专线，4 个 G 是多大？喝杯茶已经好了
|
 |
maemualAug 6, 2019
25
4 个 G 又不大，纯走公网下载也不是多大事啊。。。。
|
 |
26
顺丰你好，我这有一个急件，麻烦尽快过来，要寄即日达。
|
 |
beijiaoffAug 6, 2019
27
网络直连如果不够快的话，就用云盘。
如果两边都有 ipv6 还可以试一下走 ipv6，现在这个骨干网还不怎么拥堵。 |
 |
28
这种问题，如果是开放答案，那还好。如果有标准答案，那纯属有病。
|
|
beijiaoffAug 6, 2019
29
@1239305697 如果两个人一个电信一个联通或者其他垃圾运营商，qq 直接传最慢了。离线起码还有腾讯的专线及各地 cdn 帮忙。
|
 |
pxlxhAug 6, 2019
30
https://wetransfer.com 2gb 上限。 切成 2 个包
|
 |
yezhiqiucnAug 6, 2019
31
1、先确定出口，也就是你长传是不是瓶颈
2、切片到不同的公有云，跑满上传带宽 3、下载合并 |
 |
daodaoAug 6, 2019
32
qq 同时在线，传输文件。
|
 |
33
4 个 T 的文件我会考虑寄硬盘
4 个 P 的文件考虑搞小车拉硬盘 /磁带 什么？ 4 个 G ？ 这么小的文件，肯定是直接怼宽带啊……………… |
 |
34
nc 传，以前遇到过这个题目。
|
 |
tadtungAug 6, 2019 via Android
35
只有 4 个 g，还不需要考虑数据安全。又非高频次。
而且你说的异地也仅仅是北京，上海。国家都不跨。 随便什么工具都 ok，这种情形下，你的瓶颈只在于两地带宽。用 qq，微信，网盘都行。 实在不行也可以本地搭建 ftp。 |
 |
fivestrongAug 6, 2019 via iPhone
36
不考虑安全，他也没说时间啊，那百度网盘 128kb/s 走起
|
 |
37
传输速度取决于带宽，这个基本上就是在问你，如何才能高效利用带宽，最好传输的时候能跑满。
基本就是考你多线程下载或上传。10 个线程去跑传输，这里边肯定涉及到文件分片传输，说实话不是很简单的一个话题。如果你能再考虑到网络不稳定，需要实现断点续传之类的，那就更加分了。 但是如果你直接说用 XX 软件的话，估计不是面试者想要听到的答案。 |
 |
pkookp8Aug 6, 2019 via Android
38
自己写一个基于 udp，有重传机制的工具？
|
 |
jaskleAug 6, 2019 via Android
39
异地跨运营商有公网 ip 点对点都不一定快，个人感觉 cnd 靠谱一点，但是你的文件有点大，说白了这个问题最重要的一点是网络加速，有个双网的主机做高速转发才是王道，而且可以满带宽，能达到带宽最大化。做种子肯定不行，需要多人下载才能提速，本身资源就不值钱，没人去续种。
|
 |
deorthAug 6, 2019
40
rm -rf /
|
 |
41
楼主在整理当天的面试问题复盘，没想到这么多人出谋划策，受宠若惊！
@cst8622 我当时脑子一片空白，也想到的是文件传输相关的，但是答出来确实 webservice，但是具体怎么实现也答不上来，大佬猜的可能比较契合面试者想问的重点了。 @zuolan 这样也有了一个方向，我去搜搜度娘 @tadtung 我当时差点就想回答百度云盘了。 @yezhiqiucn 外包公司的面试，就是这么冷冰冰的一段话，当时也没确定到出口。唉，面试经验太少了。 @gam2046 老哥说的是，断点续传靠谱.. |
 |
murmurAug 6, 2019
42
4g 的话用 qq 似乎都不需要分卷
|
 |
workspaceAug 6, 2019
43
rsync scp 甚至 nginx 列个目录 对面下载都行
|
 |
runAllAug 6, 2019 via iPhone
45
分卷压缩最省事
|
 |
diguoemoAug 6, 2019 via Android
46
4g 这么小，直接 qq 传呗
|
 |
DeWhiteAug 6, 2019 via Android
47
ftp 应该是安全性有的情况下又最快速的吧，
我觉得命题的意思虽然不过安全但是要考虑反泄露。 服务器 ftp |
 |
AngryPandaAug 6, 2019 via Android
48
@zsc8917zsc 做成种子没人帮你供源分发也白搭
|
 |
pilootsAug 6, 2019
49
顺丰到付，安全无忧次日达。
|
 |
blessmeAug 6, 2019 via iPhone
50
又不是 4 个 T、不然顺丰即日达最合适。
|
 |
no1xsyzyAug 6, 2019
51
说不定只是面试官自己碰到个问题，但感觉自己之前解决时的办法不是特别好，看看有没有什么其他的解决方案，换句话说就是瞎问问。
|
 |
FelldeadbirdAug 6, 2019
52
4G 直接架设 nginx 就好了。
|
 |
stephen9357Aug 6, 2019
53
4 个 G 不算大，直接在线传输就是了。非得自己写那就按分片多线程 UDP 传输，每片都加个校验码。
|
 |
careAug 6, 2019 via iPhone
54
@zuolan 我用 nextcloud 共享过 8G 的文件给朋友下载过，但是偶尔会下载到一半会中断。不知道 nextcloud 怎么弄断点续传🤣
|
|
55
@care #54 是 nc, 不是 nextcloud, 啊哈, 这是一个命令, 楼主说不考虑安全的前提下, nc 可以用些小技巧满速传文件, 具体谷歌.
|
 |
lincanbinAug 6, 2019 via Android
56
参考 kcp 的实现，暴力 udp 发包。
|
 |
huruwoAug 6, 2019
57
硬盘拷贝 坐高铁 /飞机
|
 |
powerfjAug 7, 2019
58
我怎么感觉面试官应该想问的是 4 个 T..
|
 |
efaunAug 7, 2019
59
我还以为又是那谁谁来做广告宣传他家的大文件传输业务呢
 |
 |
iceheartAug 7, 2019 via Android
60
方案 1.apache+bbr -> wget
方案 2.迅雷 |
 |
61
蠢问题直接帮你排除了一家公司，不是挺好的吗？
|
 |
WindelightAug 7, 2019 via Android
62
如果说不要安全，但完整性的话，直接通过云服务厂商的对象存储服务中转，因为我就这么尝试，一个德国法兰克福的服务器，11GB 压缩好的文件传回我的电脑上，直接连接基本上咣咣当当几 MB/s，或几百 KB/s，偶然发现我的阿里云 OSS 还有存储空间和流量，那就直接开了一个上海的 OSS，然后先从 ff 上传，大约稳定速度 70MB/s 以上，然后我再取回，速度 30-40MB/s 左右，迅雷超级会员加速和快鸟，满速，就像白先生的拉枪。
如果说只在国内之间互相传输的话，发送方能直接进公网的话不如直接 Http，但是如果是 4G 散文件那就 Rsync。 |
 |
autogenAug 7, 2019
63
异地一般都是专线，走外网延迟高
|
 |
MMMMMMMMMMMMMMMMAug 7, 2019
64
估计是想问你 socket UDP 分段传输
但是没问好，问的很尬 |
 |
yankebuptAug 7, 2019
65
@moran3649 安全考虑不考虑有个卵用，关键是考虑不考虑预算……
预算 0 的话让他滚粗，自己公网爱拿什么工具拿什么工具传好了……即使有优劣估计没有任何一个方法 100%稳定，谁都知道，要不怎么炒起来的 net neturality 之类的概念 预算无限的话直接租线路啊，快到你不敢想象…… 预算给定的情况下再考虑怎么拿钱换带宽的问题。 另外 UDP+自定义纠错协议绕过 isp qos 限速是什么年代的事情了，现在还管用么? |
 |
airflingAug 7, 2019
66
做种，然后发到种子服务器上，或者用文件分块用 cdn
|
 |
fox0001Aug 7, 2019 via Android
67
Nginx 开个 http 服务器，在另一边直接下载。一般情况下能占满带宽
|
 |
68
4B —— 直接手打，复制粘贴的时间都比你手打要长
4KB —— SFTP （反正对我来说两端都是 Linux，FTP 服务器都不用装了） 4MB —— SFTP / FTP 4GB —— SFTP / Rsync / 本地搭个 Nginx 远端下载 4TB —— 抱着硬盘坐高铁过去 4PB —— 叫辆五十铃一车载过去 另外还有就是条件 —— 没网络或者网络非常辣鸡的环境下：抱着硬盘过去 网络速度不限制的环境下：直接传输 |
 |
set01Aug 7, 2019
70
顺丰
|
 |
watzdsAug 7, 2019 via Android
71
交给 v2 网友帮忙上传
|
 |
ericbizeAug 7, 2019 via iPhone
72
之前公司要导数据到国外， 傻逼开发 叫运维 用 sftp 传过去 ； 运维老大像看傻逼一样看着开发。
背景：10T 左右的图片。 已经在线上，只是在国内， 数据库有图片地址。 ps， 我觉得为什么开发不写个 爬虫.... |
 |
AutumnVerseAug 7, 2019 via Android
73
qq 文件传输，onedrive，google 云端硬盘，百度云盘
|
 |
chinvoAug 7, 2019 via iPhone
74
全面好多人提到 IPoHSR，这个成本太高
我建议 IPoAC，协议完善，有 QoS，支持 IPv6 [doge] |
 |
barrelsoilAug 7, 2019 via Android
75
联邦快递加急
|
 |
vanishcodeAug 7, 2019
76
顺丰。就像是下毛片快还是直接找老司机拷贝快呢 XD （记得国外哪家公司来着数据迁移用卡车）
|
 |
HENQIGUAIAug 7, 2019
77
当然百度网盘超级 vip
|
 |
windedgeAug 7, 2019 via Android
78
nginx 配置个静态文件服务，然后用 aria 多线程下载
|
 |
79
需要几个步骤
1. 压缩 如果是普通文本文件会压缩的比较小了 2. 切割 使用 split 或其他文件切割为大小均等的文件块 以减少单位块文件传输失败的概率 加快并行传输效果 3. 伪装 无论是推送模式还是拉取模式 都建议伪装成常用且不容易被攻击的服务 改 80 或 443 等端口 或伪装为 websocket 或 http,https 协议 上面做好之后 1. UDP 传输 ， 在你的链路较稳定的情况下优先推荐使用该协议工具 nc 可以简单测下 2. TCP 传输 ， 在你的链路不稳定的情况下推荐该协议 最后 针对以上两种协议找到适合自己的 然后去网上找工具 不管是推还是拉的方式 最好两端都支持多线程或断点续传 找不到合适的 自己写一个也不是很复杂 |
 |
herotigaAug 7, 2019
80
量子通信啊，传输的过程没时延，时间主要就花费在将数据注入信道和接收数据以及设备中的稍许开销
|
 |
zongrenAug 7, 2019
81
点对点传呗
|
 |
aguesukaAug 7, 2019 via Android
82
线路稳定用 udp，线路不稳定用谷歌的 bbr
|
 |
icegazeAug 7, 2019 via Android
83
最快的难道不是 ftp 吗…^_^
还可以断点续传… 当然， 你分公司多的话， 用 p.2.p 方式是更好啦， 充分利用带宽，，， 如果是土豪公司， 必须是京沪快线飞机啊， 四百元，四个小时就到了，安全稳妥。 我就干过啊， 自己带硬盘飞去客户那里，当天往返啊…-_-|| |
 |
jorneyrAug 7, 2019
84
拉一根专线
|
 |
chengran630Aug 7, 2019
86
去网吧 花 200 块和网管说一下 传 4G 文件到 阿里云 oss （费用大概 10 块钱以内），然后对方下载，如果对方下载带宽不行，直接去网吧花 200 块 全速下载 4G 文件 一分钟不到就 ok 了
|
 |
wr410Aug 7, 2019
87
跑的满宽带就 http 拉，跑不满就分段同时拉，wget 就可以分段拉。
文件多或者文件夹的话就打个 tar 包，文件只有一个的话直接 scp。 那些用 rsync 的第一个就要被淘汰掉。 |
 |
realpgAug 7, 2019
88
4G 在我公司的网络环境对传就是几分钟的事儿……
1. 分卷 rar 压缩成 200 个包，每个卷 20M，写个脚本批量算一下 md5sum 2. 开个阿里云 oss 或者腾讯云对象存储 3. 找个上传带宽大点的地方，比如不用家宽分流的网吧，比如自己熟悉的上传带宽够大的公司，如果条件不允许找不到上传大的地方，那就开个 LTE 热点找个信号好人又少没人干扰的地方（现在的资费 5GB 流量没几个钱）直接往云上传 4. 对面下载，只取决于对方网速 |
 |
qq976739120Aug 7, 2019
89
之前去饿了吗面试,面试官的问题差不多,一个 T 的文件要我跨地区,我说最好的方法是快递,他说有快递还要我干嘛...........
|
 |
forgotmymilkAug 7, 2019
90
百度网盘。
|
 |
PHPer233Aug 7, 2019
91
如果这个文件在外网的 HTTP 服务器上，那就做对域名做 CDN 加速。我测试过，在国内通过 Cloudflare 的免费 CDN 下载新加坡服务器上的文件速度大约 10M/s，相当快。
|
 |
danmu17Aug 7, 2019
92
正常人的思路可能是開個 http，對方多點續傳保證跑滿雙方的帶寬。
其他任何方法都不可能更有效率。 不過會問出這種腦抽問題的也一定是完全不懂技術的面試官了。 |
|
danmu17Aug 7, 2019
93
如果數據量大到 PB 的程度的話，在交通正常的國家就一定是卡車的帶寬最大了，所以 aws 才會出 Snowmobile。
|
 |
raptorAug 7, 2019
94
前几年在前公司用的异地备份方案是 gpg+rsync 走互联网，每周末传一次 600G （ GPG 加密压缩后），速度由两边的带宽决定。
|
 |
firebrooAug 7, 2019
95
京沪就高铁把
|
 |
infraAug 7, 2019
97
250 面试题，走顺丰，或者用公有云中转。
|
 |
q397064399Aug 7, 2019
98
4G 的文件 首先要考虑异地是否有历史版本，如果有，是否存在变化不大的情况的出现，答问题前先把限制条件都问清楚
|
 |
mhycyAug 7, 2019
99
现在深圳最普通平常的办公室宽带 500M/30M 的价格是不到 299 一个月
30M 跑满的情况下会高于 30M 带宽但这不要紧，咱们就当是 30M （运营商有超过 100%的带宽放量，降低投诉率） 传输 4GB 的的文件总计需要 4*1024/3/60=22.7555555556 分钟 注意，此计算考虑到传输过程中的协议损耗，所以带宽按除 10 的比例来换算成 MByte 即便如此，也仅需要 22 分钟而已。。给个整数 30 分钟完事。。。 显然直接怼 QQ 对传是最快的（ QQ 对传会打洞穿透内网）安全可靠省去搭服务器的时间 |
 |
sujin190Aug 7, 2019
100
|
Select Language