clowwindy
V2EX  ›  问与答

大量个人数据的存储和备份,你是怎样做的?

  •  
  •   clowwindy · Jun 10, 2012 · 9837 views
    This topic created in 5266 days ago, the information mentioned may be changed or developed.
    记得很多年前的时候,我刻过十几个光盘包的光盘。刻录、读取、解压、分卷都很费时,人工为光盘“分库”“建索引”也很麻烦。而且光盘存放时间有限,隔几年就要重新刻一遍。后来硬盘越来越便宜的时候,大家就都直接用硬盘备份了。

    在硬盘容量还在增长的阶段,我每隔一年左右就要买一块更大的硬盘,然后把原来硬盘上的根目录整个拷进去。现在电影、动画、游戏的容量越来越大,单块硬盘的容量和读写速度没有很大的进步。当需要三块以上的硬盘才能装下所有数据时,硬盘也变得不方便了。

    1. 文件分散在不同硬盘上,管理起来不方便,即使用符号链接,也不能维持统一的目录结构。比方说,为了避免单块硬盘用满,可能就要在不同的硬盘上分别建 Movie01,Movie02,Movie03……机械硬盘近年来读写速度没什么进步,手工平衡容量要花很长的时间转移文件,很不方便。
    2. 如果硬盘多了,其中某块硬盘挂掉的概率会成倍增加,所以需要一个带冗余的方案。
    3. 这些数据应该能很容易的被家中的不同设备访问。

    目前找到的方案里面,似乎 Hadoop 的 DFS 能满足这几点,用 fuse 驱动或 webdav 可以挂载到操作系统里。用很便宜的配件(CPU300 + 主板300 + 机箱电源150)就能搭起来,成本基本上大部分就在硬盘上。搭起来之后,存文件的时候不用考虑哪块硬盘还有空间,加硬盘、换硬盘就再也不用手工转移数据了。即使一台机器插满了硬盘,再加一台机器就能直接扩容了。

    不知大家有没有尝试过?
    28 replies  •  1970-01-01 08:00:00 +08:00
    virushuo
    virushuo
    Jun 10, 2012
    1
    试试zfs?
    binux
    binux
    Jun 10, 2012
    2
    保存存100M的种子,而不是10T的文件
    welsmann
    welsmann
    Jun 10, 2012
    3
    @binux +1
    clowwindy
    clowwindy
    OP
    Jun 10, 2012
    4
    @virushuo zfs 能否像 hdfs 那样,可以设置一个 replication 数量,自动决定数据存储在哪些节点?
    virushuo
    virushuo
    Jun 10, 2012
    5
    @clowwindy zfs应该是可以通过创建多个不同的文件系统来做这事。但和hdfs的目标是不一样的,所以应该不能直接和replication那么用。

    但zfs只要管理好存储池,划分好文件系统应该就可以解决同样问题。
    pengjiayou
    pengjiayou
    Jun 10, 2012❤️1
    6
    直接上 NAS ,推荐 Synology 和 Netgear ,尤其是前者,专业做 NAS 的。
    lyxint
    lyxint
    Jun 10, 2012
    7
    删掉,最好的解决方案
    blueven
    blueven
    Jun 10, 2012
    8
    @lyxint 赞!
    FreeWriting
    FreeWriting
    Jun 10, 2012
    9
    只备份个人文档,dropbox加移动硬盘
    其它下载来的东西没了就没了,否则烦恼太多
    blacktulip
    blacktulip
    Jun 10, 2012
    10
    真心建议删光,反正我电影从不看第二次,某种特殊类型的除外。
    akann
    akann
    Jun 11, 2012
    11
    电影建议只保存链接,或者只保存bt种子,音乐保存在google music或者直接使用虾米等音乐网站 其他文件可以保存在网盘或者自己的硬盘。
    电影是最占硬盘的,最好不要保存。如果你非要保存电影,建议保存flv格式的电影,容量会比mpeg4格式的电影缩小很多。
    goophile
    goophile
    Jun 11, 2012
    12
    @akann 电影当然是要么不保存,要么保存最好的版本
    yuiagain
    yuiagain
    Jul 5, 2012
    13
    学习。。。。。
    cheshirecat
    cheshirecat
    Jul 5, 2012
    14
    这是 Hoarding ... 得治...
    dhysum
    dhysum
    Jul 5, 2012
    15
    可以试试LINUX集群, NFS等。
    dhysum
    dhysum
    Jul 5, 2012
    16
    磁盘柜。
    brucmao
    brucmao
    Jul 5, 2012
    17
    迅雷离线空间那么大,保存在上面吧,
    likuku
    likuku
    Jul 5, 2012❤️1
    18
    zfs 轻松扩容。只要把zpool里所有的硬盘都以每次替换一块的方式换掉,然后重新加载一次,容量就增大了。
    tuita012
    tuita012
    Jul 5, 2012
    19
    可以试试网盘的服务
    tuita012
    tuita012
    Jul 5, 2012
    20
    可以试试网盘的服务
    qiuai
    qiuai
    Jul 5, 2012
    21
    我目前的解决办法.不保存电影,不保存动漫,H片看完好看的保存,不好看的直接删除,但是不管好看不好看,保留种子.电子书因为体积的关系,全部保存了,照片有单独的分区,音乐也有单独的分区,工作文档也有.
    同时,我买了115的VIP,做同步盘用.因为DB我这边速度太慢.
    pulse_me
    pulse_me
    Jul 5, 2012
    22
    @blacktulip 什么特殊类型的呢?
    eric_q
    eric_q
    Jul 5, 2012
    23
    MooseFS?
    heidour
    heidour
    Jul 5, 2012
    24
    利用发展的眼光看问题的话,以后想看什么在线瞬间看,现在收藏没用。
    heidour
    heidour
    Jul 5, 2012
    25
    利用发展的眼光看问题的话,以后想看什么在线瞬间看,现在收藏没用。
    Kvm
    Kvm
    Jul 6, 2012
    26
    简单的干法用lvm
    huochengfang
    huochengfang
    Jul 6, 2012
    27
    我原来是1比1备份,全挂在机子上,用库统一访问……但是当我硬盘膨胀到6T的时候。我觉悟了……走向了另一个极端。
    alexrezit
    alexrezit
    Jul 6, 2012
    28
    看完就删, 至于那个"隔几年就要重新刻一遍"太二了, 这几年内都没有看过的话就说明没价值了直接丢掉就好了啊~
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1014 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 59ms · UTC 19:01 · PVG 03:01 · LAX 11:01 · JFK 14:01
    ♥ Do have faith in what you're doing.