12 / 2 页

论坛徽章:: 0

11楼 [报告]

发表于 2012-03-06 20:47 |只看该作者

写一个小程序，先复制到内存，再统计'\n'个数。十行以内

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

ziyunfei

稍有积蓄

论坛徽章:: 1

12楼 [报告]

发表于 2012-03-06 20:53 |只看该作者

有喜感

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

relvigour

白手起家

论坛徽章:: 0

13楼 [报告]

发表于 2012-03-07 09:24 |只看该作者

先拆分成几个小文件再并行计算行，会不会快些呢？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

feiyang1002

白手起家

论坛徽章:: 0

14楼 [报告]

发表于 2012-03-07 11:15 |只看该作者

现将文件split切开，然后对小的逐个wc？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

好人家

家境小康

论坛徽章:: 1

15楼 [报告]

发表于 2012-03-07 14:19 |只看该作者

除楼上几位的方法，估计没有更好的方法了。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

zyj09

白手起家

论坛徽章:: 0

16楼 [报告]

发表于 2012-03-09 14:13 |只看该作者

按原理上来说，以上方法只有wc 最快（直接去遍历，不会如其它的命令一样增加内存消耗）；
如果你的文件内容是固定格式的，可以用文件总大小(ls -l得出以字节为单位的文件大小)；
然后再计算每行占字节数(head -1 file |wc -c)；
最后用总大小除以每行字节数，能得出总行数。

以上方法适用于文件内容每行内容固定大小，如话单文件等。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 / 2 页

返回列表

Chinaunix › 论坛 › 程序设计 › Shell › 如何快速统计一个大文件的行数?

如何快速统计一个大文件的行数? [复制链接]

浏览过的版块