免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Shell › find 如何更有效的处理海量文件

12 / 2 页下一页

最近访问板块

发新帖

查看: 3672 | 回复: 17

上一主题

下一主题

find 如何更有效的处理海量文件 [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2010-08-16 17:22 |只看该作者 |倒序浏览

现在有4百万+的文件需要列出来在一个文本文件中，包括文件名，路径，大小等等信息，find能处理吗？如何能有效的利用find？如果不行，还有其他什么办法？

谢谢

文库|博客

论坛徽章:: 0

2楼 [报告]

发表于 2010-08-16 17:33 |只看该作者

find . -type f -exec ls -l {} \; >yourfile

?

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 2

2015年辞旧岁徽章
日期:2015-03-03 16:54:15

15-16赛季CBA联赛之上海
日期:2016-05-05 09:45:14

3楼 [报告]

发表于 2010-08-16 17:44 |只看该作者

400W,,还可以，

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2010-08-16 17:50 |只看该作者

谢谢楼上两位，就是不能确定find是否有数量限制，还有这么多的文件要运行多久啊

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2010-08-16 18:24 |只看该作者

谢谢楼上两位，就是不能确定find是否有数量限制，还有这么多的文件要运行多久啊
zhao3stones 发表于 2010-08-16 17:50

有这么久，试试看也知道结果了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2010-08-16 18:54 |只看该作者

我没法访问那台服务器，只能提供脚本

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

7楼 [报告]

发表于 2010-08-16 20:14 |只看该作者

find . -type f -ls >yourfile

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

8楼 [报告]

发表于 2010-08-17 08:46 |只看该作者

自己做400万个文件测试一下呗

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

9楼 [报告]

发表于 2010-08-17 14:23 |只看该作者

find . -type f | xargs ls -l > file

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

10楼 [报告]

发表于 2010-08-17 16:09 |只看该作者

ls几个似乎都可以

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 / 2 页下一页

发新帖

Chinaunix › 论坛 › 程序设计 › Shell › find 如何更有效的处理海量文件

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP