免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: wenjun3000
打印 上一主题 下一主题

[文本处理] 400多个文件夹下有2000多万个txt文档,如何快速删除? [复制链接]

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
11 [报告]
发表于 2016-08-19 13:14 |只看该作者
不能格式化,里面有大量要保留的文件夹及文件,只需要删除E:/xxx目录及目录下所有文件共2000多万个文件

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
12 [报告]
发表于 2016-08-19 13:48 |只看该作者
回复 6# wenjun3000


    文件多是个问题

如果不做过滤删除 可以直接这样
  1. rm -rf /cygdrive/e/xxx
复制代码

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
13 [报告]
发表于 2016-08-19 14:48 |只看该作者
回复 12# moperyblue


没反应

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
14 [报告]
发表于 2016-08-19 15:17 |只看该作者
回复 13# wenjun3000

不要冒号
    rm -rf /cygdrive/g/xxx0sc

论坛徽章:
4
程序设计版块每日发帖之星
日期:2016-08-11 06:20:00数据库技术版块每日发帖之星
日期:2016-08-13 06:20:00程序设计版块每日发帖之星
日期:2016-08-14 06:20:00数据库技术版块每日发帖之星
日期:2016-08-14 06:20:00
15 [报告]
发表于 2016-08-19 15:30 |只看该作者
本帖最后由 杰瑞26 于 2016-08-19 15:30 编辑

  1. 大多情况下,可用下面九种方法
  2. 方法一: rm file       # 直接删除
  3. 方法二: rm -i file     # 删前提示
  4. 方法三: rm -f file     # 强制删除
  5. 方法四: rm -rf /dir    # 递归删除
  6. 但是,经常在删除文件时会碰到Device or Resource is busy的情况,这个时候尝试用下面的方法:
  7. 方法五: 使用ps和kill命令查看并删除相应的进程,时候再执行rm删除操作
  8. 方法六: 使用lsof命令查看使用该文件并用kill删除,再执行rm操作
  9. 方法七: 使用fuser -kvm /mnt/test命令,再执行rm操作
  10.      -k参数: 缩写kill
  11.      -v参数: 详细输出
  12.      -m参数: 表面指定的路径为挂载点
  13. 方法八: 使用find命令结合-exec命令来删除
  14. $ find /tmp -type f -exec rm -rf {} \;
  15. 方法九: 使用find命令结合xargs命令来删除
  16. $ find /tmp -type f | xargs rm -rf

  17. 【海量删除】:
  18. 有时候文件太多,执行rm –rf file* 会报错,进行不下去,这个时候,同样要考虑到rsync同步删除操作,且高效快速,其思路,建一个空目录作为中转,再删除:
  19. rsync --delete-before -avH --progress --stats /tmp/   /yourdir/

  20. -a:              归档模式
  21. -v:              显示全部过程
  22. -H:             保持硬链接文件
  23. -progress    在传输时显示传输过程

  24. 这几种方法的使用,几乎可以解决删除操作中碰到的任何问题,但有几点必须注意的问题:
  25. 1). 有挂载点的情况下,一定要执行umount操作
  26. 2). 不要删除目录的下,执行删除的操作,很愚蠢,不是嘛?
  27. 3). 如果执行rm -rf /dir1/dir2/dir3/*.*删除不掉的话,尝试删除其父目录rm -rf /dir1/dir2
复制代码

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
16 [报告]
发表于 2016-08-19 16:28 |只看该作者
回复 15# 杰瑞26

多谢"杰瑞26",我试试看
   

论坛徽章:
0
17 [报告]
发表于 2016-08-19 23:47 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
4
戌狗
日期:2014-10-12 21:48:202015年辞旧岁徽章
日期:2015-03-03 16:54:15IT运维版块每日发帖之星
日期:2015-06-09 22:20:002016猴年福章徽章
日期:2016-02-18 15:30:34
18 [报告]
发表于 2016-08-31 23:05 |只看该作者
用rsync吧。我之前删除fastdfs 256*256个文件夹,文件数在200W左右,大概1个半小时

论坛徽章:
11
2015年迎新春徽章
日期:2015-03-04 09:55:282017金鸡报晓
日期:2017-02-08 10:39:4215-16赛季CBA联赛之辽宁
日期:2016-12-15 10:24:1715-16赛季CBA联赛之佛山
日期:2016-11-30 09:04:2015-16赛季CBA联赛之江苏
日期:2016-04-29 15:56:1215-16赛季CBA联赛之同曦
日期:2016-04-12 13:21:182016猴年福章徽章
日期:2016-02-18 15:30:3415-16赛季CBA联赛之山东
日期:2016-02-16 11:37:52每日论坛发贴之星
日期:2016-02-07 06:20:00程序设计版块每日发帖之星
日期:2016-02-07 06:20:0015-16赛季CBA联赛之新疆
日期:2018-01-09 16:25:37
19 [报告]
发表于 2016-09-02 15:47 |只看该作者
删除命令导致的要遍历整个文件夹,所以会很慢
有时候删除整个目录反而慢,到里面的子目录下,一个一个的删,反而快
如果能写高级点的python脚本,删起来就很快了

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
20 [报告]
发表于 2016-09-04 09:16 |只看该作者
多谢各位,试过多种方法,最有效的方法是单独用一个盘符处理数据,然后快速格式化,几秒就搞定了。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP