看能不能实现 【 已结案 】谢谢大神

Windows19

moperyblue 发表于 2016-12-11 16:51
楼主 有空测一下这种方式

哈哈，测试了一下，还是大神你这个思路方法好，而且效率高速度飞快，出来结果非常正确

原谅我看得不明白，是不是一开始先做转码处理？然后排序标记行号，然后打印回原来行号，再截取第二列

细节还有看得不明白，能否请大神再说说工作过程细节？顺便向大神请教学习  
谢谢您

moperyblue

回复 21# Windows19


几十G测试完了?

Windows19

moperyblue 发表于 2016-12-11 17:57
回复 21# Windows19

测试了小部份，估算了一下下1G也大概只是要10分钟左右    那个几十G的log也肯定能完成，推算了一下做那个几十G log也就300分钟左右，比用数据库还快！你这个思路代码，效率算很高的了，真厉害，佩服佩服

bmne

回复 19# moperyblue


因我对大神的这个代码感兴趣，所以，特地准备了一个812M的文档
分别用三个代码实验
1、
sed = 8.txt|sed 'N;s/\n/\x00/' > 8.tmp
real    2m39.195s
user    3m44.921s
sys     0m1.746s
sort -t '\0' -k2,2 -u 8.tmp|sort -t'\0' -k1,1n|awk '{print $2}' FS=\\x00
real    7m56.619s
user    28m20.253s
sys     0m3.508s
2、
awk '! a[$0]++' 8.txt
real    0m36.754s
user    0m35.989s
sys     0m0.311s
3、
sort -u  8.txt
real    8m5.598s
user    27m12.082s
sys     0m2.386s

上面数据仅供参考，因为我运行代码的同时，还在干别的事情



另，14楼的代码我不会运行，所以，没参与测试

bmne

坛子不稳定，编辑掉

bmne

坛子不稳定，编辑掉

bmne

坛子不稳定，编辑掉

cao627

@moperyblue
学习

@Windows19
我在用sed匹配删除行时没有用整行匹配模式/ ^     $/, 所以会导致：如果B行中包含子串A行，会在匹配A行时将B行删除。不过@moperyblue 的方法确实高效好几倍！

Windows19

bmne 发表于 2016-12-11 19:34
回复 bmne

@bmne
原来你也需要对旧日志log去重分析?

我去重后减小了一大半工作量
$ time sed = Syslog.txt|sed 'N;s/\n/\x00/' > Syslog.tmp
real    0m0.016s
user    0m0.000s
sys     0m0.015s
$ time sort -t '\0' -k2,2 -u Syslog.tmp|sort -t'\0' -k1,1n|awk '{print $2}' FS=\\x00
##########################################################################
#                                System Log
# Time = 2016-12-11 20:11:38 133088s
# 1.0 00000000 : S-Ver = 5.2.0 Build 140613 Rel.34743n
# L = 192.168.1.1 : M = 255.255.255.0
# W1 = PPPoE : W = 10.0.0.103 : M = 255.255.255.255 : G = 10.0.0.1
# Cnt = 5504, Free = 5391, Busy = 113
  0days, 00:00:04, LAN: mirror0 set ip c0a80101 mask ffffff00
  0days, 00:00:05, System start ok.
  0days, 00:00:07, DHCPS: Send OFFER with ip 192.168.1.100
  0days, 00:00:10, DHCPS: Send OFFER with ip 192.168.1.101
  0days, 00:00:10, PPP LCP: TX TERMINATION_REQUEST.
  0days, 00:00:10, PPPOE: TX PADT.
  0days, 00:00:10, try special dail type: 0
  0days, 00:00:10, PPPOE: TX PADI.
  0days, 00:00:10, PPPOE: RX PADO,AC-NAME=WayOS_PPPoE,AC-MAC=80810067C6A0
  0days, 00:00:10, PPPOE: TX PADR.
  0days, 00:00:10, PPPOE: RX PADS.
real    0m0.031s
user    0m0.000s
sys     0m0.031s
$

Windows19

回复cao627

@cao627

也谢谢您 一开始还真以为大数据要用到数据库才能够实现（其实很多人也这样认为），但是这个规律就让moperyblue大神给打破了