免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › awk处理问题
最近访问板块 发新帖
查看: 2190 | 回复: 7
打印 上一主题 下一主题

[文本处理] awk处理问题 [复制链接]

rulebook

论坛徽章:
6
处女座 日期:2014-04-02 16:07:17酉鸡 日期:2014-04-14 10:09:22子鼠 日期:2014-04-17 11:57:30辰龙 日期:2014-09-01 17:14:08戌狗 日期:2014-10-28 12:25:54未羊 日期:2014-11-14 11:31:58
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2014-03-17 11:00 |只看该作者 |倒序浏览
awk处理一个文件时，是先将整个文件读入内存中再处理，还是从文件中取出一条处理完再取第二条处理？
yestreenstars

论坛徽章:
32
处女座 日期:2013-11-20 23:41:20双子座 日期:2014-06-11 17:20:43戌狗 日期:2014-06-16 11:05:00处女座 日期:2014-07-22 17:30:47狮子座 日期:2014-07-28 15:38:17金牛座 日期:2014-08-05 16:34:01亥猪 日期:2014-08-18 13:34:25白羊座 日期:2014-09-02 15:03:55金牛座 日期:2014-11-10 10:23:58处女座 日期:2014-12-02 09:17:52程序设计版块每日发帖之星 日期:2015-06-16 22:20:002015亚冠之塔什干火车头 日期:2015-06-20 23:28:22
2楼 [报告]
发表于 2014-03-17 11:11 |只看该作者
awk是一行一行处理的
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
reyleon

论坛徽章:
60
20周年集字徽章-20 日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京 日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦 日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山 日期:2016-05-27 11:54:56黄金圣斗士 日期:2015-12-02 11:44:35白银圣斗士 日期:2015-11-25 14:32:43白银圣斗士 日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼 日期:2015-10-21 16:55:482015亚冠之首尔 日期:2015-09-01 16:46:052015亚冠之德黑兰石油 日期:2015-08-31 11:39:192015亚冠之萨济拖拉机 日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东 日期:2016-07-12 14:58:53
3楼 [报告]
发表于 2014-03-17 11:28 |只看该作者
准确的说, awk 里有一个内置变量 RS ,定义的"行"是根据 RS 来设置的, RS 默认是换行符,所以通常是说一行行处理的
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
rulebook

论坛徽章:
6
处女座 日期:2014-04-02 16:07:17酉鸡 日期:2014-04-14 10:09:22子鼠 日期:2014-04-17 11:57:30辰龙 日期:2014-09-01 17:14:08戌狗 日期:2014-10-28 12:25:54未羊 日期:2014-11-14 11:31:58
4楼 [报告]
发表于 2014-03-17 11:31 |只看该作者
回复 3# reyleon


    先谢谢你，不过我想确定的是，如果我读一个超大的文件（好几十G），awk会不会直接把所有内容都先扔到内存中去再处理，如果这样的话内存就爆了，如果awk是一条一条从文件中读出来处理的那就没问题。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
rulebook

论坛徽章:
6
处女座 日期:2014-04-02 16:07:17酉鸡 日期:2014-04-14 10:09:22子鼠 日期:2014-04-17 11:57:30辰龙 日期:2014-09-01 17:14:08戌狗 日期:2014-10-28 12:25:54未羊 日期:2014-11-14 11:31:58
5楼 [报告]
发表于 2014-03-17 11:32 |只看该作者
回复 2# yestreenstars


    谢谢
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
lifengshurui

论坛徽章:
0
6楼 [报告]
发表于 2014-03-19 16:00 |只看该作者
一行一行读取的机制，应该不会把数据全部读取出来然后再执行
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jinl

论坛徽章:
0
7楼 [报告]
发表于 2014-03-19 16:44 |只看该作者
awk是读一行处理一行，不存在你说的问题。当然如果你的脚本中用到了数组这类，把数据保存下来最后输出的话，也存在内存不足的问题
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jason680

论坛徽章:
145
技术图书徽章 日期:2013-10-01 15:32:13戌狗 日期:2013-10-25 13:31:35金牛座 日期:2013-11-04 16:22:07子鼠 日期:2013-11-18 18:48:57白羊座 日期:2013-11-29 10:09:11狮子座 日期:2013-12-12 09:57:42白羊座 日期:2013-12-24 16:24:46辰龙 日期:2014-01-08 15:26:12技术图书徽章 日期:2014-01-17 13:24:40巳蛇 日期:2014-02-18 14:32:59未羊 日期:2014-02-20 14:12:13白羊座 日期:2014-02-26 12:06:59
8楼 [报告]
发表于 2014-03-19 16:49 |只看该作者
本帖最后由 jason680 于 2014-03-19 16:51 编辑

回复 1# rulebook

default by line and you can control by RS(Record-Separator) variable
   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP