一堆医学图片数据,合作学校提供了一个 HTTP 服务下载,每压缩包 300M 。 最理想大概是有人能在当地下载然后把硬盘带回来,但大概联系不到这样的人。用电信 100M 光纤直接下的话起初速度 30MBit/s ,但过一段时间会降到 2MBit/s ,感觉是网络波动降的速度。
请问这个大小的数据用哪类服务加速下载比较方便省钱?如果用 VPS 、GN2 等中转的话怎样配置?
一堆医学图片数据,合作学校提供了一个 HTTP 服务下载,每压缩包 300M 。 最理想大概是有人能在当地下载然后把硬盘带回来,但大概联系不到这样的人。用电信 100M 光纤直接下的话起初速度 30MBit/s ,但过一段时间会降到 2MBit/s ,感觉是网络波动降的速度。
请问这个大小的数据用哪类服务加速下载比较方便省钱?如果用 VPS 、GN2 等中转的话怎样配置?
|
tributeMar 4, 2022
1
网盘中转呢
|
|
2
寻个当地的留学生,给些钱,帮邮寄一下。
|
|
xwaywayMar 4, 2022
3
1. 没有鉴权,七牛买个 cdn ,自己绑个域名上去,设置个回源地址就下载了。
2. 如果下载是有鉴权的话,自己搞个海外服务器,当下载机,再转回来,可以通过方案 1 |
|
mineralsaltMar 4, 2022
4
多搞几个 IP 去下载
|
|
zhs227Mar 4, 2022
5
按亚马逊$0.12 每 GB 的 EC2 流量,1T 流量的费用差不多是 800 人民币 ,传送 20T 的成本大概是 16000 元(不计重传和传送失败的消耗)。走 S3 存储+CDN 会快一些,但是费用仍然不低。弄个硬盘拷好了寄回来是最佳选择。从成本算还可以白得 20T 硬盘。
用 VPS 的话,一般的 VPS 都有月限额,从 100G 到几 T 不等,但还没有看到月配额有 20T 的机器。 |
|
dreamer8933Mar 4, 2022 via iPhone
6
需要我帮你转吗?我可以帮你转去 od ,国内 od 应该满速吧
|
|
wanwaneryideMar 4, 2022
8
弄个电信带宽提速的,包月差不多 20 左右吧。提到 500M 试试,整天挂着传数据
|
|
ilylx2008Mar 4, 2022
9
北京联通,千兆带宽,按 50MB/s 计算,十多天就下完了。
|
|
wanwaneryideMar 4, 2022
10
或者弄那种节点代理啥的,速度应该能快很多
|
|
wanwaneryideMar 4, 2022
11
网盘不是有那种离线下载嘛,试试能不能用,能用的话,开个超级会员,估计就是最便宜的方案了
|
|
nkloveniMar 4, 2022
12
找我帮你传,能给多少钱?
|
|
13
区区 20T ,如果对保密性没要求,去 Hostloc 上出钱,让人竞标,价低者得
|
|
datouMar 4, 2022
14
现在国际邮件时效基本没保障
朋友十月底在德亚下单的东西过年期间才到 还是慢慢下载吧 |
|
MacDowsMar 4, 2022 via Android
15
Dropbox 开一个月就行了
|
|
liulongquanMar 4, 2022
17
@zhs227 弄个香港家宽虚拟独立服务器,也就一个月千把块,流量不限,上下千兆对等,hkt 比较好
|
|
terryopsMar 4, 2022
18
我这白天有 2G 的移动 IDC 带宽空闲,不知道直接下载速度怎么样。没有保密性的话可以帮你试试
|
|
19
@bankroft @wanwaneryide 网盘估计没这么大的,买这个大小的网盘大概和租个 VPS 差不多了
@xwayway @zhs227 对方提供了一个程序下载,但抓包是一个 Apache 服务器走的 POST 方式的 HTTP 下载,会记录下载 IP 但应该不会做拦截,我目前是想抓包它的请求然后改用 curl 下载。像这种方式的只租 CDN 能下的回来吗?还是必须中间经过一个下载机? @dreamer8933 OD 是什么? @wanwaneryide @ilylx2008 感觉主要问题是掉速,因为是单线程的 POST 请求,估计是中间哪个环节掉速。如果电信有类似速度保护之类的服务升级就好了。 @nkloveni 我想 1000 以内能实现 10Mbps 以上稳定下载就好了,超了就放那挂着下算了,反正 2Mbps 也不是不能下 |
|
lizhiqingMar 4, 2022 via iPhone
20
用云中转 yunzhongzhuan.com
|
|
SenLiefMar 4, 2022
21
已经分好了包的,那很好处理的。不要求速度的话,用网盘就拉回来了。弄个 OneDrive 5t 的,国内和国外都可以满速的跑。
|
|
MateverseMar 4, 2022
22
我之前( 17 年底和 18 年)的方案:也是几十 T 的数据压缩的小 zip 包,我选择了 QQ 邮箱,国外下载速度出奇的快…
当然你可以试试,我并不确定现在国外的上传和下载速度。 |
|
ad54392126Mar 4, 2022
23
你要在上海我帮你下,家宽 cn2 精品网千兆不限速。或者去弄个阿里云香港来下载通过内网传到 oss ,带宽和容量都足够,再通过香港 oss 传到国内的 oss 。
|
|
q197Mar 4, 2022 via Android
24
可以直接下载就加线程,只要网络互连不太差速度能跑满
|
|
isnullstringMar 4, 2022
25
要不试试 OneDrive
|
|
sujin190Mar 4, 2022
26
走国外数据大了太容易断了,如果他们提供的下载程序不能分包的话,还是建议国外再弄台机器下载下来用 resilio 来同步,或者你可以下载好拆成小包加密然后众筹一下看看有没有人愿意帮你下载好再给你,当然国外的带宽也要弄大一点
|
|
paradoxsMar 4, 2022
27
百度超级会员,难道不是最好的方案?
下载几乎能保证满速 |
|
macyMar 4, 2022
28
家里千兆网络限制,可帮忙代下,但是我硬盘没那么大,上传 100m 左右,可以边下边上传到阿里云,应该很快
|
|
tmsMar 4, 2022
29
优化下自己的线路挂着慢慢下吧。
|
|
dabaibaiMar 4, 2022
30
买硬盘 寄过来
|
|
31
寄硬盘应该不太可能,有些快递要求硬盘类产品必须为空盘,操作系统都不准有。
不如试试买一个月抛 AWS 或者月抛 az 拉数据 |
|
FrankAdlerMar 4, 2022
32
我觉得可能做成种子,每个种子 1t ,20 个种子,就挂着下载,可能比 http 要便捷,损耗还小
|
|
bclerdxMar 4, 2022
33
我艹,20TB 的数据量确实不小。
|
|
ch2Mar 4, 2022 via iPhone
34
我记得电信下载用量达到 1T 就强制降速,20T 先不说对面能不能传过来,恐怕你自己的宽带都已经被降成蜗牛了
|
|
ch2Mar 4, 2022 via iPhone
35
如果你的宽带不降速的话,推荐买一台 buyvm 的不限流量的 VPS 月抛搭一个 hysteria ,然后用 proxifier 强制你的下载程序使用 hysteria 代理,这样可以保证差不多可以一直跑在 100M 左右
|
|
unclerootMar 4, 2022
36
应该找个下载器开分片下载速度就稳定了。
|
|
ch2Mar 4, 2022 via iPhone
37
上面是 ovpn ,下面是 hysteria
 |
|
laoyurMar 4, 2022
38
问题是你希望多长时间内搞定
锅内单条宽带突击搞 20T 下载,确实风险大的 你可以找朋友均摊了下载,最后再移动硬盘寄给你 至于直连效果不行的话,走中转比较好,但是你这数据量有点大 去 hostloc 找几个 MJJ 租几个甲骨文给你开个转发吧 |
|
wtddMar 4, 2022
40
家用宽带降速问题是短板,硬盘何必找人带,直接寄就可以吧
|
|
Fantasia1993Mar 4, 2022
42
直接寄硬盘吧~速度最快~2 个 10ti 的 3000 不到
|
|
DTCPSSMar 4, 2022
43
寄吧
*激昂的赛博音乐* |
|
titanium98118Mar 4, 2022
44
这让我想到了王思聪的家宽
|
|
fihtMar 4, 2022
45
有预算 + 数据不敏感的话楼主可以联系下我,层主我是资深 NAS 用户,可以帮你看下给你报价
某绿色软件: MTc4NjUxOTk5Njg= |
|
koloonpsMar 4, 2022
46
海外买一台服务器,下载之后上传到阿里的 OSS
|
|
specialpersonMar 4, 2022
47
20T ,,用家用肯定不行 4T 就封你账号了。 也可以直接寄。有条件买个服务器,搞个 20T 云云盘,慢慢下,费用偏高。
|
|
xuecanMar 4, 2022
48
我觉得 这个完全取决于你的预算。。
|
|
oceanloveMar 4, 2022
49
Onedrive 完全可以,成都移动商宽以前,现在,将来都在用的
|
|
50
本板块现在是开启了军备竞赛模式么,怎么隔一段时间就有人要跨国传输大体量文件?
指不定下次再见到类似的贴子的时候就已经以 PB 为单位了(手动滑稽 |
|
jZEdn7k4Mar 4, 2022 via iPhone
51
别的不知道,但强烈不建议找别人下载,楼主这么大的 dicom 数据多半就是做 AI 的吧,你老板拿到这么大的数据集应该不容易,找别人下载轻轻松松复制了一份跑了,何况还是医学数据这种敏感数据。还是自己找办法下吧。
|
|
bclerdxMar 4, 2022
52
@kandaakihito 确实,近期发现类似的帖子有好几个。
|
|
ytmsdyMar 4, 2022
53
还是用技术手段下载下来吧。现在国际快递的派送速度非常不稳定,什么时候能到完全看人品!
|
|
aruMar 4, 2022
54
1. 如果是上海电信,那花钱开通 CN2
2. 可以考虑换成联通宽带 3. 可以考虑搞服务器做一个转发 1000 以内搞定都不成问题 |
|
philippielaMar 4, 2022
55
区区 20T 不考虑数据安全的话 buyvm 无限流量配合 rclone 转存 OneDrive 即可
|
|
linglin0924Mar 4, 2022
56
距离发帖快过去 9 个小时了,楼主要是把下载地址贴出来,热心的吃瓜群众可能都给你下载好了。
|
|
mobobyeMar 4, 2022 via iPhone
57
使用 xdown ,开启 RR 算法,解君愁……
|
|
crazyddMar 4, 2022
58
楼主可能需要注意一下医学图像合规,一般不允许上第三方服务器。
|
|
jouscaMar 4, 2022
59
BitTorrent Sync
|
|
vueliMar 4, 2022
60
磁力链接
|
|
61
非常感谢各位朋友帮忙支招,目前计划先分配几个同学挂着下。后面按大家建议的方法逐个试一下,看看电信有没有不限流的方案或 CN2 能办理,不行再试试 AWS 、阿里 OSS 什么的。
@kandaakihito @bclerdx 唉元宇宙是这个样子的了 @jZEdn7k4 @crazydd 这么想确实是,可能也是搞个门槛。对方单个主机挂这么大个数据还是走 HTTP 的 POST 下载也是离谱。 @mobobye 谢谢,尝试一下,只是对面服务器只有一个 IP 出来没别的镜像不知道有没有用。 |
|
62
2T 一个包,做成 10 个种子,种子名字改成“三上悠亚经典作品集合”这样的名字,发到 1024 、色花,然后你国内电脑可以开着 qBittorrent 这样的 BT 软件下载了,有全国的 LSP 们帮你加速下载,20T 小意思,你网速不拉胯几天就下完了,不花一分钱
|
|
zzw1998Mar 5, 2022
63
直接寄 FedEx ,全球三天到,最省事不折腾
|
|
just1Mar 5, 2022
65
10m/s 都要二十几天,更别说家宽达量限速........
|
|
kingcanfishMar 5, 2022
66
@PatrickLe 诶 别说 你他娘的还真是个天才
|
|
irainsoftMar 5, 2022
67
20T 肯定是邮寄最快了,两三天差不多就到了
|
|
68
可以用这个网站: https://www.backblaze.com/b2/cloud-storage-pricing.html
上传到他们网站,$5/TB/月,20T 一个月$100,然后他们家提供邮寄服务,8TB $189 ,要是把硬盘再寄回,这笔钱可以退给你。 |
|
sss007Mar 5, 2022
71
webrtc 传?
|
|
windyskrMar 5, 2022
72
|
|
celeron533Mar 5, 2022
73
对方提供程序下载。。。NBIA 相关?
|
|
celeron533Mar 5, 2022
74
另外你提到“当地人下载”,海外很多宽带限制流量,超过会减速或者额外收费。最好是在那个学校里直接内网下载搞定,再寄回。
|
|
peterpeiMar 5, 2022
75
你这个程序其实是请求了不同的 range 吧,程序问题倒是没什么
所以其实解决方案很简单 Step1. 写一个 /联系对方获得每个分块的下载链接 Step2. *因为你是百兆带宽* 所以可以同时开 3 个腾讯云 hk 轻量服务器下载(上传限速 30mpbs X3 差不多你的电信也就跑满了 而且轻量服务器每月限制带宽 1TB) Step3. 达到 1TB 的轻量服务器可以直接删掉了,两天差不多两块钱吧 这些数据差不多两天可以迁移,也就是说两天可以迁移 3TB ,不到两周就弄完 实际花销应该不到 60r 当然如果可以 py 一个千兆网,应该两三天就弄好 |
|
peterpeiMar 5, 2022
76
或者租个大盘鸡用 bypy
然后就开个百度会员 |
|
levenwindyMar 5, 2022 via Android
77
@SenLief 跑不了,联通跑 onedrive 可能快一点,但是电信 200k~500k ,高峰期 50k 都有可能
|
|
wanwaneryideMar 7, 2022
78
@laqow 又不是一个文件就 20T ,现在网盘一般都有个 4 5T 的样子,下载到网盘里面的就直接下载到本地,然后删除网盘里面的文件不行嘛
|
|
79
感谢各位帮忙。问了一下电信现在没有流量限制了,应该挂着下数据量大也不会直接封号,但掉速是难免的,我估计是 TCP 协议和电信一些小动作。
@HiLyy 这个牛逼了 @PatrickLe 这根本导不出来啊 @peterpei 不是 range ,是分好块的多个文件。对方提供的程序就是根据用户名设备在本地算个 hash ,类似 http://.../?hash=..&part=..这样,只是请求参数放 POST 了,然后大概是不支持 range 了。感觉网盘应该没办法直接用 POST 请求,提速方法感觉还是需要找个好的线路或者中介 VPS 。不过好在一个块只有 300M ,把 hash 抓包下来用 curl 伪造一下可以实现多个 300M 同时下载。 @celeron533 只可惜没这样的同学,也没有直接寄硬盘的服务 @windyskr 终于知道这个盒子是什么了 |
|
ghostwwgMar 7, 2022
80
迅雷行不行。。可以的话买个 VIP
|
|
peterpeiMar 7, 2022
81
@laqow
“用户名设备在本地算个 hash” 这个 hash 是不变的吗? 不变的话只需要分段 POST part 就可以拿对应的直链了吧 拿到直链之后看看支不支持 range ,支持的话感觉 aria2 这种都能跑满 |
|
ChrisoneMar 8, 2022
82
文件完整性检查就头疼,物理介质带回来吧
|
|
endyMar 8, 2022
83
申请多几个阿里云盘。。。不是不限速吗。/狗头
|
|
siparadiseMar 14, 2022
84
方案 1:即使弄个不限量的机场,对方搭个 apache 服务器,按 10MB/s 的速度一天最多也就下个 800G 左右,保守点 500GB ,也得 40 天左右才能传完,且不说运营商看你流量大封你宽带。方案 2:硬盘对拷再寄硬盘回来。
|
|
ZinzinMar 15, 2022
85
有保密需求的话还是 btsync 吧
|
|
86
现在在家里电信下开始大概 100G 有 20MB/s 后面慢慢掉到 250kB/s 。但同时连其他国外地址地址的速度没有明显降,不知道是哪里降的速度。
|
|
bbsingaoMar 17, 2022
87
很明显是国外服务器自己降速了. 怎么可能长时间全速提供给一个 client .
|