忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
楼主: wenjun3000

[文本处理] 400多个文件夹下有2000多万个txt文档,如何快速删除? [复制链接]

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 13:14 |显示全部楼层
不能格式化,里面有大量要保留的文件夹及文件,只需要删除E:/xxx目录及目录下所有文件共2000多万个文件

论坛徽章:
27
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-08-19 13:48 |显示全部楼层
回复 6# wenjun3000


    文件多是个问题

如果不做过滤删除 可以直接这样
  1. rm -rf /cygdrive/e/xxx
复制代码

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 14:48 |显示全部楼层
回复 12# moperyblue


没反应
QQ截图20160819144724.jpg

论坛徽章:
27
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-08-19 15:17 |显示全部楼层
回复 13# wenjun3000

不要冒号
    rm -rf /cygdrive/g/xxx0sc

论坛徽章:
4
程序设计版块每日发帖之星
日期:2016-08-11 06:20:00数据库技术版块每日发帖之星
日期:2016-08-13 06:20:00程序设计版块每日发帖之星
日期:2016-08-14 06:20:00数据库技术版块每日发帖之星
日期:2016-08-14 06:20:00
发表于 2016-08-19 15:30 |显示全部楼层
本帖最后由 杰瑞26 于 2016-08-19 15:30 编辑

  1. 大多情况下,可用下面九种方法
  2. 方法一: rm file       # 直接删除
  3. 方法二: rm -i file     # 删前提示
  4. 方法三: rm -f file     # 强制删除
  5. 方法四: rm -rf /dir    # 递归删除
  6. 但是,经常在删除文件时会碰到Device or Resource is busy的情况,这个时候尝试用下面的方法:
  7. 方法五: 使用ps和kill命令查看并删除相应的进程,时候再执行rm删除操作
  8. 方法六: 使用lsof命令查看使用该文件并用kill删除,再执行rm操作
  9. 方法七: 使用fuser -kvm /mnt/test命令,再执行rm操作
  10.      -k参数: 缩写kill
  11.      -v参数: 详细输出
  12.      -m参数: 表面指定的路径为挂载点
  13. 方法八: 使用find命令结合-exec命令来删除
  14. $ find /tmp -type f -exec rm -rf {} \;
  15. 方法九: 使用find命令结合xargs命令来删除
  16. $ find /tmp -type f | xargs rm -rf

  17. 【海量删除】:
  18. 有时候文件太多,执行rm –rf file* 会报错,进行不下去,这个时候,同样要考虑到rsync同步删除操作,且高效快速,其思路,建一个空目录作为中转,再删除:
  19. rsync --delete-before -avH --progress --stats /tmp/   /yourdir/

  20. -a:              归档模式
  21. -v:              显示全部过程
  22. -H:             保持硬链接文件
  23. -progress    在传输时显示传输过程

  24. 这几种方法的使用,几乎可以解决删除操作中碰到的任何问题,但有几点必须注意的问题:
  25. 1). 有挂载点的情况下,一定要执行umount操作
  26. 2). 不要删除目录的下,执行删除的操作,很愚蠢,不是嘛?
  27. 3). 如果执行rm -rf /dir1/dir2/dir3/*.*删除不掉的话,尝试删除其父目录rm -rf /dir1/dir2
复制代码

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 16:28 |显示全部楼层
回复 15# 杰瑞26

多谢"杰瑞26",我试试看
   

论坛徽章:
0
发表于 2016-08-19 23:47 |显示全部楼层
本帖最后由 本友会机友会摄友会 于 2016-08-19 23:52 编辑

我不觉得有什么快的方法。cygwin等更慢。都tm不靠谱的乱喷。
吃瓜群众,坐而围观。
要想快用缓存软件,如PrimoCache

论坛徽章:
4
戌狗
日期:2014-10-12 21:48:202015年辞旧岁徽章
日期:2015-03-03 16:54:15IT运维版块每日发帖之星
日期:2015-06-09 22:20:002016猴年福章徽章
日期:2016-02-18 15:30:34
发表于 2016-08-31 23:05 |显示全部楼层
用rsync吧。我之前删除fastdfs 256*256个文件夹,文件数在200W左右,大概1个半小时

论坛徽章:
10
2015年迎新春徽章
日期:2015-03-04 09:55:2815-16赛季CBA联赛之辽宁
日期:2016-12-15 10:24:1715-16赛季CBA联赛之佛山
日期:2016-11-30 09:04:2015-16赛季CBA联赛之江苏
日期:2016-04-29 15:56:1215-16赛季CBA联赛之同曦
日期:2016-04-12 13:21:182016猴年福章徽章
日期:2016-02-18 15:30:3415-16赛季CBA联赛之山东
日期:2016-02-16 11:37:52每日论坛发贴之星
日期:2016-02-07 06:20:00程序设计版块每日发帖之星
日期:2016-02-07 06:20:002017金鸡报晓
日期:2017-02-08 10:39:42
发表于 2016-09-02 15:47 |显示全部楼层
删除命令导致的要遍历整个文件夹,所以会很慢
有时候删除整个目录反而慢,到里面的子目录下,一个一个的删,反而快
如果能写高级点的python脚本,删起来就很快了

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-09-04 09:16 |显示全部楼层
多谢各位,试过多种方法,最有效的方法是单独用一个盘符处理数据,然后快速格式化,几秒就搞定了。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

SACC2017购票7.8折优惠进行时

2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。今年,大会以“云智未来”为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置2大主会场,18个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100余位技术专家及行业领袖来分享他们的经验;并将吸引4000+人次的系统运维、架构师及IT决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年8月2日前

活动链接>>
  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP