新手的烦恼－－文件处理的效率问题[已解决] [复制链接]

论坛徽章:: 0

51楼 [报告]

发表于 2008-12-16 10:30 |只看该作者

if(/After Woff Ebox Info:/){
                                    gsub(/~/," ",$4)
                                    key4=$4
                                    getline
这部分有问题
如果getline进来的是解析清单就完了
不知道awk 没有 goto
不过可以把它定义成函数吧
看看能不？

BEGIN{
FS="[]|[]+"
}
function analyzex() {
if(/解析清单/){
key1=$1$4$11
getline
while(/解析清单/){key1=$1$4$11;getline}
if(/转换后帐单科目/){
gsub(/.*转换后帐单科目: /,"",$0)
gsub(/ FILE:.*/,"",$0)
key2=$0
getline
key22=""
while(/转换后帐单科目/){
gsub(/.*转换后帐单科目: /,"",$0)
gsub(/ FILE:.*/,"",$0)
key22=$0
getline}
if(/普通单/ || /长单/){
getline
if(/Ebox Info:/){
gsub(/~/," ",$4)
key3=$4
getline
if(/After Woff Ebox Info:/){
gsub(/~/," ",$4)
key4=$4
getline
if(/销帐结果/){
gsub(/~/," ",$4)
key5=$4
if (key22==""){print key1,key2,key3,key4,key5}
else {print key1,key2"~"key22,key3,key4,key5}
next
}
if(/解析清单/)analyzex()
}
}
}
}
}
}
{
analyzex()
}

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

welcome008

小富即安

论坛徽章:: 0

52楼 [报告]

发表于 2008-12-16 10:56 |只看该作者

看的晕了

我觉得麻烦的是，连ＬＺ都不确认他文件的格式
一开始说是６行，后来发现还有７行的，那有没有５行的？
这个不确定，那就麻烦的多了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

sthcf

白手起家

论坛徽章:: 0

53楼 [报告]

发表于 2008-12-16 11:11 |只看该作者

原帖由 welcome008 于 2008-12-16 10:56 发表
看的晕了

我觉得麻烦的是，连ＬＺ都不确认他文件的格式
一开始说是６行，后来发现还有７行的，那有没有５行的？
这个不确定，那就麻烦的多了

正常的情况是6或7行，但因为系统根据日志文件的大小，每20M截取一次，导致了本应该在一起的6行或7行其中的3行（不一定是3）在上一个文件，剩下的3或4行在下一个文件里，之前那个跑出来的结果正确的

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

sthcf

白手起家

论坛徽章:: 0

54楼 [报告]

发表于 2008-12-16 11:13 |只看该作者

原帖由 nuclearxin 于 2008-12-16 10:30 发表
if(/After Woff Ebox Info:/){
                                    gsub(/~/," ",$4)
                                    key4=$4
                                    getline
这部分有问 ...

nuclearxin 大侠，这个可以不用考虑了，我只需要在分析第一行是不是解析清单的时候，加上判断 $11 是不是0就可以了，非0的接下来应该都是形成一个6或7行的循环的。如果系统没出故障，文件就都是这样的，所以那个脚本已经是可以用了，谢谢大侠