[文本处理] 求一个思路，一个文件拆分后的思路 [复制链接]

论坛徽章:: 145

22楼 [报告]

发表于 2011-09-19 14:04 |只看该作者

有多少个键确定的，30多个，键的顺序不能确定，因为不同的日志类型他的键值位置不一样。结果顺序 ...
lightning 发表于 2011-09-19 13:09

#自己设...
#t=多少个键
#键太多了自己设... a["键名"] = 键位

$ awk -F'[]=; &[]+' 'BEGIN{t=50;a["action"]=2;a["AppId"]=3;a["appID"]=4;a["AP"]=14}{delete b;b[1]=$2" "$3" "$4;for(n=1;n++<t

if(a[$n]!=""

b[a[$n]]=$(n+1);for(n=0;n++<t

printf b[n]",";print""}' log1 log3
15/09/2011 01:28:38:613 CST,userAuth,,,,,,,,,,,,3.1.5.167,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
15/09/2011 01:28:39:694 CST,userAuth,,,,,,,,,,,,3.1.5.145,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
15/09/2011 22:42:55:654 CST,getMsg,,,,,,,,,,,,3.1.5.145,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
15/09/2011 06:27:23:811 CST,msgPkgDeleteACK,,12831713,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
15/09/2011 06:27:24:708 CST,msgPkgDeleteACK,,13066620,,,,,,,,,,3.1.5.186,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
15/09/2011 06:27:25:862 CST,msgPkgDeleteACK,,13066620,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

23楼 [报告]

发表于 2011-09-19 15:05 |只看该作者

#自己设...
#t=多少个键
#键太多了自己设... a["键名"] = 键位

$ awk -F'[]=; &[]+' 'BEGIN{t= ...
jason680 发表于 2011-09-19 14:04

感谢，能在linux 上执行了，能否详细讲解一下你的语句，我想学习一下，这个要比我原来的方法简单很多啊。
谢谢了，虽然solaris 上面好像有问题，但我可以慢慢琢磨

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

24楼 [报告]

发表于 2011-09-19 15:09 |只看该作者

感谢，能在linux 上执行了，能否详细讲解一下你的语句，我想学习一下，这个要比我原来的方法简单 ...
lightning 发表于 2011-09-19 15:05

returns 这个特殊的值好像没有，看来的另外想办法了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 145

25楼 [报告]

发表于 2011-09-19 15:13 |只看该作者

感谢，能在linux 上执行了，能否详细讲解一下你的语句，我想学习一下，这个要比我原来的方法简单 ...
lightning 发表于 2011-09-19 15:05

说说看...那不明白...

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 145

26楼 [报告]

发表于 2011-09-19 15:16 |只看该作者

returns 这个特殊的值好像没有，看来的另外想办法了
lightning 发表于 2011-09-19 15:09

returns...有值,你没设好吗? a["returns"]=XX

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

27楼 [报告]

发表于 2011-09-19 15:35 |只看该作者

returns...有值,你没设好吗? a["returns"]=XX
jason680 发表于 2011-09-19 15:16

有两个值帮忙看看如何加入进去，第一个是hostname 想放在第一列，按照你写的感觉需要设定 b[1]=$HOSTNAME 但是这个写法不成立，不能调用外部的变量。returns 这个值在日志中不是以“等于”开头的，他是一个列日志中显示为 returns 200 或者 returns 401 所以这个值我想是否可以和你去日期值得方法一样，将b[37]=$11 这样写？

不太理解的，主要是 awk -F'[]=; &[]+' 和 if(a[$n]!=""

b[a[$n]]=$(n+1);for(n=0;n++<t

第一段 -F 不是用来指定分割符的吗？这里你是指定了2个嘛？

第二段意思是不是当a[1] 不为空的时候执行 b[a[1]]=$(1+1) 但执行的这一段我不太理解你怎么读取 a[1-50] 中的值

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

28楼 [报告]

发表于 2011-09-19 15:38 |只看该作者

有两个值帮忙看看如何加入进去，第一个是hostname 想放在第一列，按照你写的感觉需要设定 b[1]=$ ...
lightning 发表于 2011-09-19 15:35

还有就是 solais 下好像不认 delete b; 有什么可以代替吗

nawk: you can only delete array[element] at source line 1
context is
BEGIN{t=50;a["action"]=2;a["AppId"]=3;a["appID"]=4;a["AP"]=14}{delete >>> b; <<<
nawk: syntax error at source line 1
nawk: illegal statement at source line 1

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

29楼 [报告]

发表于 2011-09-19 15:58 |只看该作者

说说看...那不明白...
jason680 发表于 2011-09-19 15:13

还有就是 t 这个值如何设定，比如我有 7个值，但是我写 t=8 无法显示出完整的7个值比如要写到10才能显示，这是什么原因？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？