Distributions
› Ubuntu
› Fedora
› CentOS
中文资源站
› 网易开源镜像站
ssbg2
V2EX  ›  Linux

问下现在 Linux 监控海量文件+两端同步的正确姿势是什么?

  •  
  •   ssbg2 · Sep 27, 2020 · 3588 views
    This topic created in 2232 days ago, the information mentioned may be changed or developed.
    如题,公司 OA 系统有两台文件服务器,里面积攒了从 10 年到现在的几乎所有文件,文件挺多但倒是不大,因为绝大多数都是些图片、文档之类的。
    然后本身是在阿里云托管的,似乎也不用太担心意外导致数据丢失的问题(每个月还会手动备份一次到本地)。
    但是最近老板觉得这个东西还是存在本地好,迁移倒是很简单,可是总得做异地热备吧,搜了下,说是 inotify+unison 的方案是比较高效的,参照的教程是这个:
    https://cloud.tencent.com/developer/article/1333957

    结果我发现这个方法每次有变动都会扫描所有文件,造成了延时高、资源占用大的问题,没办法使用。

    后来又搜了下,说是还是通过脚本来调用 rsync 是比较科学的( inotify+rsync ),教程如下:
    https://developer.aliyun.com/article/679345

    请问下大家一般都是怎么做的?


    ==================================================================
    哦,对了,监控其实只监控新增,所以不牵扯到文件内容的比较。
    10 replies  •  2020-09-28 10:48:51 +08:00
    justseemore
    justseemore
    Sep 27, 2020❤️1
    1
    inotify + rsync
    ssbg2
    ssbg2
    OP
    Sep 27, 2020
    2
    @zpfhbyx 嗯,谢谢了
    weyou
    weyou
    Sep 27, 2020 via Android❤️1
    3
    syncthing
    d0m2o08
    d0m2o08
    Sep 27, 2020
    4
    我用的 lsyncd 本质还是 inotify + rsync
    mingl0280
    mingl0280
    Sep 27, 2020 via Android
    5
    rsync...
    lengyihan
    lengyihan
    Sep 27, 2020 via Android
    6
    syncthing 。
    tieqishan07li
    tieqishan07li
    Sep 27, 2020
    7
    阿里云的话,可以放到 oss 里,然后用 ossfs 工具把 bucket 挂载到本地。
    wangyzj
    wangyzj
    Sep 27, 2020
    8
    为啥不放 oss
    flynaj
    flynaj
    Sep 27, 2020 via Android
    9
    syncthing 简单方便
    shellus
    shellus
    Sep 28, 2020
    10
    syncthing 就是 inotify+rsync 的原理
    但是多了 gui 和 p2p
    更高级,更好用,更简单
    毕竟 inotify+rsync 是两个基础命令结合使用
    而 syncthing 是面向最终用户的软件
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   676 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 20:37 · PVG 04:37 · LAX 12:37 · JFK 15:37
    ♥ Do have faith in what you're doing.