• 请不要在回答技术问题时复制粘贴 AI 生成的内容
CUMTProgrammer
V2EX  ›  程序员

删除大型文件有没有什么快速的命令,有 5 个多 T, rm -rf 太慢了

  •  
  •   CUMTProgrammer · Nov 5, 2018 · 12259 views
    This topic created in 2925 days ago, the information mentioned may be changed or developed.
    Supplement 1  ·  Nov 6, 2018
    描述错了,是 5T 的很多小文件,不是一个文件,不好意思
    44 replies  •  2021-06-25 09:30:18 +08:00
    ml1344677
    ml1344677
    Nov 5, 2018
    1
    买个新硬盘(逃
    lfzyx
    lfzyx
    Nov 5, 2018❤️4
    2
    用 rsync --delete 同步一个空文件夹?
    kslr
    kslr
    Nov 5, 2018 via Android
    3
    这个命令不慢吧 也就几十分钟 也有反应的时间
    likuku
    likuku
    Nov 5, 2018
    4
    可以格盘么?意思是可以整盘摧毁么?

    mkfs -f /dev/diskAccessPoint 就可以。或者 dd if=/dev/zero of=/dev/diskAccessPoint bs=1M count=1000

    保证很快。
    likuku
    likuku
    Nov 5, 2018
    5
    删除很多文件的话,rm 会让 参数列表爆炸的,得用 find /forRemovePath/* -exec rm -f {} \;
    CUMTProgrammer
    CUMTProgrammer
    OP
    Nov 5, 2018
    6
    @ml1344677 买不起,公司给的服务器,里面一堆日志

    @lfzyx 这个效率比 rm 高吗?
    CUMTProgrammer
    CUMTProgrammer
    OP
    Nov 5, 2018
    7
    @likuku 我想把 home 节点底下的全部删了
    privil
    privil
    Nov 5, 2018
    9
    5t 都是小文件的话,能删个好几天的
    EXE
    EXE
    Nov 5, 2018
    10
    dd if=/dev/zero of=/dev/sda
    arrow8899
    arrow8899
    Nov 5, 2018❤️1
    11
    同 2L,rsync 删除几百万个文件只要几分钟
    mkdir /data/blank
    rsync --delete-before -d /data/blank/ /home
    SGE
    SGE
    Nov 5, 2018
    12
    格式化 一切都清爽了
    ltoddy
    ltoddy
    Nov 5, 2018
    13
    删除大型文件有没有什么快速的命令,有 5 个多 T,rm -rf 太慢了

    这是原文. 我感觉楼主你说错了, 删除是 lazy 的, 大型文件, 也是瞬间删除的, 比如一个 5T 的大型文件,也是一下子就删除了.
    如果你感觉太慢了, 只能说明你电脑当前几乎和死机状态差不多.
    webdisk
    webdisk
    Nov 5, 2018 via Android
    14
    删过一个 20T 的文件,用了很长时间的,有三分钟 。
    Mithrandir
    Mithrandir
    Nov 5, 2018
    15
    eatmydata rm -rf
    Mithrandir
    Mithrandir
    Nov 5, 2018
    16
    补充一下,eatmydata 的原理是操作文件的时候不执行 fsync 和其他同步磁盘的系统调用,从而节省时间
    Mithrandir
    Mithrandir
    Nov 5, 2018
    17
    再补充一下:我没测过 rm -rf
    Lax
    Lax
    Nov 5, 2018
    18
    看标题以为是 「 1 个大小为 5T 的“大型文件”」
    DonaidTrump
    DonaidTrump
    Nov 5, 2018 via iPhone
    19
    晚上执行一下 rm 第二天早晨还不好?
    pkookp8
    pkookp8
    Nov 5, 2018 via Android
    20
    @ltoddy 我觉得是楼主描述错了
    大型文件->数量非常多的加在一起很大的文件
    答案是不能,mv 然后晚上没人用的时候后台慢慢删
    blless
    blless
    Nov 5, 2018 via Android
    21
    不要输出 快很多
    msg7086
    msg7086
    Nov 5, 2018
    22
    删除大型文件,如果是 ext3 的话需要逐个 block 释放,很慢是正常的,而且没有任何解决办法。
    删除大量小文件,rsync 大法比 rm 快得多。
    rrfeng
    rrfeng
    Nov 5, 2018❤️1
    23
    又有傻逼说 rsync 删除文件比 rm 快了。
    HiFiwu
    HiFiwu
    Nov 5, 2018
    24
    mv fileName /data/null
    mikeguan
    mikeguan
    Nov 5, 2018 via Android
    25
    @likuku #5 find 用-exec rm 会很慢的 直接用-delete 的速度比它快几十倍
    blueskea
    blueskea
    Nov 5, 2018
    26
    看见别人用过 truncate,不知道怎么样
    xiaowangwang92
    xiaowangwang92
    Nov 5, 2018
    27
    往文件中写 0 ~。~
    mmdsun
    mmdsun
    Nov 5, 2018 via Android
    28
    echo " > files 我清理日志是这样子的。大约 500GB 的日志,很快就清楚了
    402124773
    402124773
    Nov 5, 2018
    29
    @lfzyx
    这个方法确实很快,我一直都用这个
    3d3ec7a
    3d3ec7a
    Nov 5, 2018
    30
    mv 到别的地方, 然后后台慢慢 rm ...
    3d3ec7a
    3d3ec7a
    Nov 5, 2018
    31
    不知道内核对 unlink syscall 是否加锁、sync, 否则可以并行删除, 以利用 SSD 的特性.

    具体用哪个工具不明..
    WEIHUANJIHE
    WEIHUANJIHE
    Nov 5, 2018
    32
    啊啊啊啊
    ETiV
    ETiV
    Nov 5, 2018 via iPhone
    33
    find | xargs -P99
    ghhardy
    ghhardy
    Nov 5, 2018 via Android
    34
    @Lax 其实标题就是这个意思,楼主啥意思得问他自己
    HunterPan
    HunterPan
    Nov 5, 2018
    35
    必须 echo > file
    zbinlin
    zbinlin
    Nov 5, 2018
    36
    如果是单个大文件的,可以先用 `truncate -s 0 <FILEN>` 把大小置为 0 再删除;
    如果是很多小文件的,可以用 `rsync` 来删除。
    jasonyang9
    jasonyang9
    Nov 5, 2018
    37
    学习了。没实践过,跑路前可以试试
    flynaj
    flynaj
    Nov 5, 2018
    38
    mkfs.exe4 /dev/sda
    flynaj
    flynaj
    Nov 5, 2018
    39
    mkfs.ext4 /dev/sda
    mondeo
    mondeo
    Nov 5, 2018 via iPhone
    40
    直接把父目录的硬链接删掉
    Dragonish3600
    Dragonish3600
    Nov 5, 2018
    41
    用 for i 循环会快一些
    unkn369
    unkn369
    Nov 5, 2018 via Android
    42
    realpg
    realpg
    Nov 6, 2018
    43
    从文件系统干掉父目录硬链接然后修复文件系统
    tongjun
    tongjun
    Jun 25, 2021
    44
    rsync 没多快,至少做不到秒删
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1424 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 74ms · UTC 10:21 · PVG 18:21 · LAX 02:21 · JFK 05:21
    ♥ Do have faith in what you're doing.