免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12
最近访问板块 发新帖
楼主: expert1
打印 上一主题 下一主题

[文本处理] awk来分类统计各个范围内的符合条件的数量 [复制链接]

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
11 [报告]
发表于 2015-10-06 13:09 |只看该作者
本帖最后由 sunzhiguolu 于 2015-10-06 14:10 编辑

回复 1# expert1
附上awk的,思路应该没问题,但结果不对,比较难debug。(只对 renderG 的,这个完成了node很容易加,就是if/else )

    最后, 您能否简单说一下 renderG 在调试时出现了什么问题, 我在编写代码时在 renderG 判断时也出现了问题.
(幸好在调试部分找到问题的根源) 虽然不懂您编写的 awk, python 的代码, 但希望向您学习调试 debug 的技巧.
    向您问一下, 您处理的文件中大概有多少条记录, 完成处理的时间大概是多少. (不知能否说一下)
    同样祝您及论坛的其他小伙伴, 前辈, 大神们 "十一" 快乐!
   

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-08-24 06:20:00综合交流区版块每日发帖之星
日期:2015-10-14 06:20:00IT运维版块每日发帖之星
日期:2015-10-25 06:20:00IT运维版块每日发帖之星
日期:2015-11-06 06:20:00IT运维版块每日发帖之星
日期:2015-12-10 06:20:00平安夜徽章
日期:2015-12-26 00:06:302016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-04-15 06:20:00IT运维版块每日发帖之星
日期:2016-05-21 06:20:00综合交流区版块每日发帖之星
日期:2016-08-16 06:20:002015七夕节徽章
日期:2015-08-21 11:06:17IT运维版块每日发帖之星
日期:2015-08-14 06:20:00
12 [报告]
发表于 2015-10-07 10:55 |只看该作者
回复 15# sunzhiguolu


   1.  见13楼, 就是这个思路。

  2 . "xxxx-yy.com" 是主机名吗? 它与 node 之间是什么关系 ?如下所示

node053
node067.xxx-yy.com

其实就是某些行的这个有的是node053, 不含Domain这个后缀,有的含比如node063.xxx-yy.com。


就是我要统计node 53 102这个范围内有多少active/down的,你再看下题目就明白了。

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-08-24 06:20:00综合交流区版块每日发帖之星
日期:2015-10-14 06:20:00IT运维版块每日发帖之星
日期:2015-10-25 06:20:00IT运维版块每日发帖之星
日期:2015-11-06 06:20:00IT运维版块每日发帖之星
日期:2015-12-10 06:20:00平安夜徽章
日期:2015-12-26 00:06:302016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-04-15 06:20:00IT运维版块每日发帖之星
日期:2016-05-21 06:20:00综合交流区版块每日发帖之星
日期:2016-08-16 06:20:002015七夕节徽章
日期:2015-08-21 11:06:17IT运维版块每日发帖之星
日期:2015-08-14 06:20:00
13 [报告]
发表于 2015-10-07 11:04 |只看该作者
本帖最后由 expert1 于 2015-10-07 11:05 编辑

回复 16# sunzhiguolu


    附上awk的,思路应该没问题,但结果不对,比较难debug。(只对 renderG 的,这个完成了node很容易加,就是if/else )

   您误会了,我是说我写的awk只处理了node的,没考虑renderG, 整个代码就已经非常难去debug,去看明白整个执行过程了(for循环太多了)

    最后, 您能否简单说一下 renderG 在调试时出现了什么问题, 我在编写代码时在 renderG 判断时也出现了问题.
   case by case呀,^_^

(幸好在调试部分找到问题的根源) 虽然不懂您编写的 awk, python 的代码, 但希望向您学习调试 debug 的技巧.

awk要debug, 只能再适当的位置加print 等来debug, 人为设置断点了。要对awk以及其数组非常熟悉,这个需要平时积累了。

python有个pdb, python -m pdb your.py 类似C的gdb。可以设置断点等,非常有用的。


    向您问一下, 您处理的文件中大概有多少条记录, 完成处理的时间大概是多少. (不知能否说一下)   

明天去单位了告诉你

同乐同乐!

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
14 [报告]
发表于 2015-10-07 11:17 |只看该作者
本帖最后由 sunzhiguolu 于 2015-10-07 11:22 编辑

回复 18# expert1
向您问一下, 您处理的文件中大概有多少条记录, 完成处理的时间大概是多少. (不知能否说一下)
明天去单位了告诉你

感谢您的回复, 如果有了结果请您告诉我, 非常感谢. (如果您愿意的话)

   

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-08-24 06:20:00综合交流区版块每日发帖之星
日期:2015-10-14 06:20:00IT运维版块每日发帖之星
日期:2015-10-25 06:20:00IT运维版块每日发帖之星
日期:2015-11-06 06:20:00IT运维版块每日发帖之星
日期:2015-12-10 06:20:00平安夜徽章
日期:2015-12-26 00:06:302016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-04-15 06:20:00IT运维版块每日发帖之星
日期:2016-05-21 06:20:00综合交流区版块每日发帖之星
日期:2016-08-16 06:20:002015七夕节徽章
日期:2015-08-21 11:06:17IT运维版块每日发帖之星
日期:2015-08-14 06:20:00
15 [报告]
发表于 2015-10-08 10:28 |只看该作者
回复 19# sunzhiguolu


    460多条,执行时间不到0.1s,可以忽略。

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
16 [报告]
发表于 2015-10-08 10:39 |只看该作者
回复 20# expert1
460多条,执行时间不到0.1s,可以忽略。

    非常感谢您的回复, 我能否再向您请教一下 0.1s 您是使用 time 命令进行统计的吗? (希望我没有打扰到您, 我有点啰嗦, 还请您见谅.)
1.> 如果是的话, 您主要参考的是哪个取值? (real user sys)
2.> 不是的话, 能否说一下?



   

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-08-24 06:20:00综合交流区版块每日发帖之星
日期:2015-10-14 06:20:00IT运维版块每日发帖之星
日期:2015-10-25 06:20:00IT运维版块每日发帖之星
日期:2015-11-06 06:20:00IT运维版块每日发帖之星
日期:2015-12-10 06:20:00平安夜徽章
日期:2015-12-26 00:06:302016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-04-15 06:20:00IT运维版块每日发帖之星
日期:2016-05-21 06:20:00综合交流区版块每日发帖之星
日期:2016-08-16 06:20:002015七夕节徽章
日期:2015-08-21 11:06:17IT运维版块每日发帖之星
日期:2015-08-14 06:20:00
17 [报告]
发表于 2015-10-08 10:45 |只看该作者
回复 21# sunzhiguolu


    1. Y
    2. real = usr + sys 难道不是吗,一个是CPU的用户态开销,一个是内核态开销吧。

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
18 [报告]
发表于 2015-10-08 10:48 |只看该作者
回复 22# expert1
我懂了, 谢谢您.

   

论坛徽章:
0
19 [报告]
发表于 2015-10-08 13:59 |只看该作者
高手阿

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-08-24 06:20:00综合交流区版块每日发帖之星
日期:2015-10-14 06:20:00IT运维版块每日发帖之星
日期:2015-10-25 06:20:00IT运维版块每日发帖之星
日期:2015-11-06 06:20:00IT运维版块每日发帖之星
日期:2015-12-10 06:20:00平安夜徽章
日期:2015-12-26 00:06:302016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-04-15 06:20:00IT运维版块每日发帖之星
日期:2016-05-21 06:20:00综合交流区版块每日发帖之星
日期:2016-08-16 06:20:002015七夕节徽章
日期:2015-08-21 11:06:17IT运维版块每日发帖之星
日期:2015-08-14 06:20:00
20 [报告]
发表于 2015-10-13 16:41 |只看该作者
本帖最后由 expert1 于 2015-10-13 16:41 编辑

@sendlinux 论坛数据库是不是丢数据了,为啥我回复的几个楼都没了?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP