论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2010-01-12 12:21 |只看该作者 |倒序浏览

最近在弄一个SHELL,其功能是对INPUT的文件(CSV)进行格式检查,如空值检查,格式检查(如判断日期,时间的格式是否合法)等.处理完毕后再将处理结果写到日志中.

现在遇到一个问题,就是SHELL运行效率非常低下,处理10000行的数据,得花40多分钟.不晓得大家有何招数提高效率?

对于这个SHELL,我觉得有几个点可能会提高效率,但不晓得如何实现:

1,此SHELL中涉及到一个配置文件,此文件定义了对哪些列作何种类型的CHECK,现在的程序是每读一行INPUT的数据,都要读一次这个配置文件. 能否一次性的将此文件读入内存,以后直接从内存里读取?

2,此SHELL中写日志时,是发现一个问题写一次日志. 我想问的是,能否将日志先缓存一下,待到积累到一定数量时才物理的写磁盘?

3,此SHELL基本上是用纯SHELL语法实现的,中间夹杂了一些AWK. 我想问的是,对于大文本数据的处理,用什么工具效率会比较高?

文库|博客

ywlscpl

富甲一方

论坛徽章:: 0

2楼 [报告]

发表于 2010-01-12 12:31 |只看该作者

把input文件样本贴出来，格式是如何检查的说明一下

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

nhw_cs

小富即安

论坛徽章:: 0

3楼 [报告]

发表于 2010-01-12 12:31 |只看该作者

1,此SHELL中涉及到一个配置文件,此文件定义了对哪些列作何种类型的CHECK,现在的程序是每读一行INPUT的数据,都要读一次这个配置文件. 能否一次性的将此文件读入内存,以后直接从内存里读取?
所谓读入内存, shell中无非是两种方法: 1. 存入变量(这实际是废话, 所有放入内存的东西本质上都是存放在变量中)

如: config_items=$(<config_file)

第二种方法: 使用 pipeline:

如: cat config_file | cmd1 | cmd2

2,此SHELL中写日志时,是发现一个问题写一次日志. 我想问的是,能否将日志先缓存一下,待到积累到一定数量时才物理的写磁盘?

同上, 所谓缓存, 就是将结果现存放在某个shell变量中

3,此SHELL基本上是用纯SHELL语法实现的,中间夹杂了一些AWK. 我想问的是,对于大文本数据的处理,用什么工具效率会比较高?

用什么工具取决于要做的操作 ..如果可能, 尽量用 grep -xF -f ..，来实现搜索