免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 操作系统 › Linux系统管理 › Linux服务器经常需要删除上T的文件，速度非常非常慢，难 ...
12下一页
最近访问板块 发新帖
查看: 9591 | 回复: 17
打印 上一主题 下一主题

[系统管理] Linux服务器经常需要删除上T的文件，速度非常非常慢，难以忍受 [复制链接]

royzs

论坛徽章:
14
处女座 日期:2013-11-26 09:21:15操作系统版块每日发帖之星 日期:2016-03-25 06:20:00操作系统版块每日发帖之星 日期:2016-03-22 06:20:00操作系统版块每日发帖之星 日期:2016-03-21 06:20:00数据库技术版块每日发帖之星 日期:2015-11-13 06:20:00操作系统版块每日发帖之星 日期:2015-11-01 06:20:002015亚冠之卡尔希纳萨夫 日期:2015-09-29 13:31:42IT运维版块每日发帖之星 日期:2015-08-13 06:20:00IT运维版块每日发帖之星 日期:2015-08-10 06:20:00数据库技术版块每日发帖之星 日期:2015-08-06 06:20:00双鱼座 日期:2014-07-17 15:08:51卯兔 日期:2014-04-08 09:54:34
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2015-10-13 09:53 |只看该作者 |倒序浏览
阿里云上面网站数据太多，经常需要清理，有时候整个清空，我用的rm -rf删除每次都炒过24小时，删除文件都这么久实在受不了
网上有文章说rsync删除快，试过了，并没有任何加快速度的效果，用的方法是：
rsync --delete-before -d -a -H -v --progress --stats /空目录/ /目标路径/
也尝试了
rsync --delete-before -d -a -H -v /空目录/ /目标路径/
都不管用，不比rm快

求助
royzs

论坛徽章:
14
处女座 日期:2013-11-26 09:21:15操作系统版块每日发帖之星 日期:2016-03-25 06:20:00操作系统版块每日发帖之星 日期:2016-03-22 06:20:00操作系统版块每日发帖之星 日期:2016-03-21 06:20:00数据库技术版块每日发帖之星 日期:2015-11-13 06:20:00操作系统版块每日发帖之星 日期:2015-11-01 06:20:002015亚冠之卡尔希纳萨夫 日期:2015-09-29 13:31:42IT运维版块每日发帖之星 日期:2015-08-13 06:20:00IT运维版块每日发帖之星 日期:2015-08-10 06:20:00数据库技术版块每日发帖之星 日期:2015-08-06 06:20:00双鱼座 日期:2014-07-17 15:08:51卯兔 日期:2014-04-08 09:54:34
2楼 [报告]
发表于 2015-10-13 10:31 |只看该作者
求助                  
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
csoho2000

论坛徽章:
45
2016猴年福章徽章 日期:2016-02-18 16:42:24平安夜徽章 日期:2015-12-27 09:46:0315-16赛季CBA联赛之八一 日期:2015-12-15 17:08:23黄金圣斗士 日期:2015-12-11 09:16:31天蝎座 日期:2015-12-11 09:16:22戌狗 日期:2015-12-11 09:16:19程序设计版块每周发帖之星 日期:2015-12-11 09:15:21操作系统版块每周发帖之星 日期:2015-12-11 09:15:16IT运维版块每周发帖之星 日期:2015-12-11 09:15:09IT运维版块每月发帖之星 日期:2015-12-11 09:15:01CU十四周年纪念徽章 日期:2015-12-11 09:14:40操作系统版块每日发帖之星 日期:2015-12-11 09:13:36
3楼 [报告]
发表于 2015-10-13 10:46 |只看该作者
把目标目录单独挂载磁盘分区，每次格式化它

瞎想的
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
royzs

论坛徽章:
14
处女座 日期:2013-11-26 09:21:15操作系统版块每日发帖之星 日期:2016-03-25 06:20:00操作系统版块每日发帖之星 日期:2016-03-22 06:20:00操作系统版块每日发帖之星 日期:2016-03-21 06:20:00数据库技术版块每日发帖之星 日期:2015-11-13 06:20:00操作系统版块每日发帖之星 日期:2015-11-01 06:20:002015亚冠之卡尔希纳萨夫 日期:2015-09-29 13:31:42IT运维版块每日发帖之星 日期:2015-08-13 06:20:00IT运维版块每日发帖之星 日期:2015-08-10 06:20:00数据库技术版块每日发帖之星 日期:2015-08-06 06:20:00双鱼座 日期:2014-07-17 15:08:51卯兔 日期:2014-04-08 09:54:34
4楼 [报告]
发表于 2015-10-13 10:48 |只看该作者
回复 3# csoho2000


    是好办法，开始也这么考虑的，实际应用中不是只放一个网站的数据，悲催
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
DeathAngle

论坛徽章:
0
5楼 [报告]
发表于 2015-10-13 15:59 |只看该作者
文件的量是多少
阿里云的io还可以的说
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jixuuse

论坛徽章:
41
操作系统版块每日发帖之星 日期:2016-08-21 06:20:00每日论坛发贴之星 日期:2016-05-05 06:20:00操作系统版块每日发帖之星 日期:2016-05-05 06:20:00IT运维版块每日发帖之星 日期:2016-05-05 06:20:0015-16赛季CBA联赛之山西 日期:2016-04-27 08:49:00操作系统版块每日发帖之星 日期:2016-04-25 06:20:00操作系统版块每日发帖之星 日期:2016-04-17 06:23:2815-16赛季CBA联赛之吉林 日期:2016-03-25 15:46:3415-16赛季CBA联赛之四川 日期:2016-03-25 14:26:19操作系统版块每日发帖之星 日期:2016-05-27 06:20:00操作系统版块每日发帖之星 日期:2016-05-28 06:20:00IT运维版块每日发帖之星 日期:2016-08-18 06:20:00
6楼 [报告]
发表于 2015-10-13 16:55 |只看该作者
都是小文件吧？如果是随时生成的，可以每天做个计划任务定时删除，不要积累到很多再删
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
lyhabc

求职 : Linux运维
论坛徽章:
203
拜羊年徽章 日期:2015-03-03 16:15:432015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:57:092015小元宵徽章 日期:2015-03-06 15:58:182015年亚洲杯之约旦 日期:2015-04-05 20:08:292015年亚洲杯之澳大利亚 日期:2015-04-09 09:25:552015年亚洲杯之约旦 日期:2015-04-10 17:34:102015年亚洲杯之巴勒斯坦 日期:2015-04-10 17:35:342015年亚洲杯之日本 日期:2015-04-16 16:28:552015年亚洲杯纪念徽章 日期:2015-04-27 23:29:17操作系统版块每日发帖之星 日期:2015-06-06 22:20:00操作系统版块每日发帖之星 日期:2015-06-09 22:20:00
7楼 [报告]
发表于 2015-10-13 21:28 |只看该作者
@jixuuse
一般业务都是过一段时间才能删的，因为客户还需要查询这一部分数据
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
lyhabc

求职 : Linux运维
论坛徽章:
203
拜羊年徽章 日期:2015-03-03 16:15:432015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:57:092015小元宵徽章 日期:2015-03-06 15:58:182015年亚洲杯之约旦 日期:2015-04-05 20:08:292015年亚洲杯之澳大利亚 日期:2015-04-09 09:25:552015年亚洲杯之约旦 日期:2015-04-10 17:34:102015年亚洲杯之巴勒斯坦 日期:2015-04-10 17:35:342015年亚洲杯之日本 日期:2015-04-16 16:28:552015年亚洲杯纪念徽章 日期:2015-04-27 23:29:17操作系统版块每日发帖之星 日期:2015-06-06 22:20:00操作系统版块每日发帖之星 日期:2015-06-09 22:20:00
8楼 [报告]
发表于 2015-10-13 21:49 |只看该作者
弄一个新分区，新建一个目录挂载到新分区上，然后做软链接
ln -s    /目标路径/  /空目录/

那么数据都写入到新分区上，到时候格式化
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
x95527

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2016-03-07 06:20:00
9楼 [报告]
发表于 2015-10-14 08:57 |只看该作者
用 find     -delete      这样删除速度能提升几倍。可以试试
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jixuuse

论坛徽章:
41
操作系统版块每日发帖之星 日期:2016-08-21 06:20:00每日论坛发贴之星 日期:2016-05-05 06:20:00操作系统版块每日发帖之星 日期:2016-05-05 06:20:00IT运维版块每日发帖之星 日期:2016-05-05 06:20:0015-16赛季CBA联赛之山西 日期:2016-04-27 08:49:00操作系统版块每日发帖之星 日期:2016-04-25 06:20:00操作系统版块每日发帖之星 日期:2016-04-17 06:23:2815-16赛季CBA联赛之吉林 日期:2016-03-25 15:46:3415-16赛季CBA联赛之四川 日期:2016-03-25 14:26:19操作系统版块每日发帖之星 日期:2016-05-27 06:20:00操作系统版块每日发帖之星 日期:2016-05-28 06:20:00IT运维版块每日发帖之星 日期:2016-08-18 06:20:00
10楼 [报告]
发表于 2015-10-14 12:13 |只看该作者
回复 7# lyhabc

了解，其实就是查询生成的XML、EXCEL、PDF之类的数据文件，对吧？

你可以这样做：

1、写个脚本，删除指定目录下若干天之前产生的问题，天数根据你业务需求自行设置
2、建立cron计划任务，每天执行你写的那个脚本

这样不就解决你的问题了么


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP