快过节了，来点技术小红包，awk/sed程序方面

mcwolf2000

一般比较优秀的特征有下面一些特征：

[1]      好奇心强，激情而理性，对技术甚至有些偏执狂热，并且不管性格外向内向，谈起技术细节尤其得意之处滔滔不绝，眉飞色舞；

[2]      思路或条理清晰，理解能力强，反应快，一般也都比较善于沟通(指技术方面，当然怪才不在此列)，善于总结归纳(比如写博客，技术笔记等)；

[3]      有自己独特的地方或者说亮点：如数学物理等成绩很好，参加过某些竞赛或者活动；

[4]      积极主动，乐观而有上进心；

[5]      持续专注某个问题并面对压力解决问题的能力，自己的想法被否定时不沮丧，而是继续提出新的方法；

[6]      已经具有了高手的基本感觉，能够很快感觉到自己周围谁是技术高手--物以类聚，对确实比自己强的人也能够接受并向他人推荐(实际上也是一种自信)。
一些优秀的在某个圈子甚至具有了一定影响力，这种往往可以培养为领军人物。

[7]      老大长期以来一直对公司所有员工的智商、左右脑(思维方式测试)、性格倾向等3个测试进行跟踪，有些结论还是有一定的规律性和科学依据。但我和他看法不尽一致，我只把这些测试作为参考(而且尽量避免形成先入为主的印象)，不作为主要的依据。

mcwolf2000

帖子因为审核机制的莫名其妙，胡乱的重复了几次，也无法删除了。这两天正好看看自己以前写的东西，摘录几个占个位置吧

mcwolf2000

创业型的科技公司一般要有一两个成功的产品，这个是基础，对于小型初创公司，一般有哪些特质的产品能成为成功的产品能，暂时总结了三个特质：
1. 产品架构及设计上不循常规或突破性或颠覆性。例如我们在Sharescanner产品架构中面对巨大的数据量基本都坚持以实时处理为主，而竞争对手设计中往往是遵循常见的套路，把初步数据前端处理的结果放到后端数据库中，然后离线分析，然后再出报表，经过几年竞争后当我们逐步完善了产品功能后，又有比较突破性的架构，自然就领先了。再如EW这边这次讨论类OMS系统时，根本就没有人有实时处理大部分数据的考虑（当然绝大部分类OMS等都是这样开发的，这里不是讨论孰对孰错的问题，而是说他们根本就没有此意识），这样出来的产品自然就是跟随型的，在市场、资金、整体实力完全不占优的情况下，当然无法战胜已有的产品或者业界猛将。我们目前的主打产品这方面特性就不是很强，功能总体而言跟随型的，因此压力很大，好在第2点上还行。
我们还想过但种种原因没有搞的也不少：很早就想到了在一个1/2U机箱里面装多套主板和系统（后来发现Google也是这样做过）、构思了RTMP（5年前构思的现在拿过来看看，还是有很多超级的想法）、GPU用于包分析等。
2. 产品开发及实现上关键点要不怕挑战敢于突破乃至“贯穿”。这个内容大多在“研发招聘面试总结  ”里面提到了。现在可参考的资源这么多，有些关键部件该自己做就做，看起来是个笨办法，不贯穿一次是掌握不了核心技术的。我们通过这样很笨的办法，就是形成了一支精干的核心团队，在Linux和IP底层处理和性能优化上有了足够的积累，具备了能够快速推出针对客户特定需求的高性能产品的能力。
3. 产品运作过程注意把握节奏。从用户的需求出发，策划产品，概念原型，初步原型，初步产品，节奏很重要。我们还没有有意识的来做这，Hdy这次的尝试很值得参考。
当然，不得不承认，成功有时候更重要的因素还是运气、完善的团队、引路人这些，但没有上述三条就必然难于成功。
--2010冬

Windows19

在 Windows 环境下执行了下，实际用时 69418.971 毫秒。 (测试文件 29楼) 测试文件行数:16000016, 大小约为:717MB 左右。

jason680

回复 42# mcwolf2000

不多说...不为打赏...直上代码...

$ cat field
port nofield Enable MediaType Duplex speed_Params Speed_Status Link RecentUpTime

# case-sensitive
$ awk 'function p(){s=c="";if(!P)return;for(n=1;n<=t;++n){s=s c (a[k[n]]?a[k[n]]:"null");c="\t"}print s}FNR==NR{t=split($0,k," +");for(n=1;n<=NF;++n){k[$n]=1;s=s c $n;c="\t"};print s;FS=" *: *";OFS=":";next}{gsub("^ +| +$","");$1=$1;if(/^Id/){p();P=a["port"]=$2;next}if(/Params|Status/){g=$1;next};$1=$1;if(NF==2){a[$1]=a[$1"_"g]=$2;next};match($2," *([^ ]+)$",m);gsub(" *[^ ]+$","",$2);d=$1;a[d]=a[d"_"g]=$2;d=m[1];a[d]=a[d"_"g]=$3}END{p()}' field FILE
port    nofield    Enable    MediaType    Duplex    speed_Params    Speed_Status    Link    RecentUpTime
1    null    enabled    1000BaseT    half    null    10Mbps    down    0 years   0 days  0 hours  0 minutes  0 seconds
2    null    enabled    1000BaseT    half    null    10Mbps    down    0 years   0 days  0 hours  0 minutes  0 seconds



# not case-sensitive
$ awk 'function p(){s=c="";if(!P)return;for(n=1;n<=t;++n){d=tolower(k[n]);s=s c (a[d]?a[d]:"null");c="\t"}print s}FNR==NR{t=split($0,k," +");for(n=1;n<=NF;++n){k[tolower($n)]=k[$n]=1;s=s c $n;c="\t"};print s;FS=" *: *";OFS=":";next}{gsub("^ +| +$","");$1=$1;if(/^Id/){p();P=a["port"]=$2;next}if(/Params|Status/){g=tolower($1);next};$1=$1;if(NF==2){d=tolower($1);a[d]=a[d"_"g]=$2;next};match($2," *([^ ]+)$",m);gsub(" *[^ ]+$","",$2);d=tolower($1);a[d]=a[d"_"g]=$2;d=tolower(m[1]);a[d]=a[d"_"g]=$3}END{p()}' field FILE
port    nofield    Enable    MediaType    Duplex    speed_Params    Speed_Status    Link    RecentUpTime
1    null    enabled    1000BaseT    half    auto    10Mbps    down    0 years   0 days  0 hours  0 minutes  0 seconds
2    null    enabled    1000BaseT    half    auto    10Mbps    down    0 years   0 days  0 hours  0 minutes  0 seconds


$ awk '{s="load data infile \"/home/result_101.csv\" into table switch_101(\""$1"\"";for(n=2;n<=NF;++n)s=s",\""$n"\"";print s");"}' field
load data infile "/home/result_101.csv" into table switch_101("port","nofield","Enable","MediaType","Duplex","speed_Params","Speed_Status","Link","RecentUpTime");