免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › AWK和grep结果行显示不全的问题
最近访问板块 发新帖
查看: 3707 | 回复: 7
打印 上一主题 下一主题

[文本处理] AWK和grep结果行显示不全的问题 [复制链接]

wuicpp

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2013-07-12 11:10 |只看该作者 |倒序浏览
本帖最后由 wuicpp 于 2013-07-12 11:16 编辑

各位好,我有一个文件大概8G大小的样子,每一行数据大约700个字节,都是从数据库中导出来的定长的数据,没有分隔符,使用grep或awk显示结果时,每一行只显示前面大概100个左右的字符内容,sed出来的结果到是能够显示到最后,但是会把里面有些空格之类的特殊字符省略,弄得我要得到一些结果行,只能够使用grep -n ,根据结果使用 head -n xxx file | tail -n 1 这样显示的结果才是正常的,这样也太麻烦了.有没有什么好的方法??? 盼回复.

对了忘了说,系统是AIX 6105上面
关阴月飞

论坛徽章:
39
辰龙 日期:2013-08-21 15:45:192015亚冠之广州富力 日期:2015-05-12 16:34:52亥猪 日期:2015-03-03 17:22:00申猴 日期:2015-03-03 17:21:37未羊 日期:2014-10-10 13:45:41戌狗 日期:2014-06-17 09:53:29巨蟹座 日期:2014-06-12 23:17:17双鱼座 日期:2014-06-10 12:42:44寅虎 日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫 日期:2015-05-24 15:24:35黄金圣斗士 日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林 日期:2017-06-24 16:43:52
2楼 [报告]
发表于 2013-07-12 11:20 |只看该作者
本帖最后由 关阴月飞 于 2013-07-12 11:20 编辑

lz, 来坛老洒，两行源文件.....
猜一下：
会不会是文件格式问题？查看一下：
  1. head urfile|cat -A
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wuicpp

论坛徽章:
0
3楼 [报告]
发表于 2013-07-12 12:28 |只看该作者
AIX里面没有-A选项。
我把文件截了几行重定向到文本里面，放到Linux下面，发现Linux的awk的print $0显示的行是全的。
而在Linux下grep这个文件报二进制的。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
dn833

论坛徽章:
5
未羊 日期:2014-08-04 16:15:21天秤座 日期:2014-08-13 13:52:372015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:56:112015亚冠之浦和红钻 日期:2015-06-29 15:30:48
4楼 [报告]
发表于 2013-07-12 15:15 |只看该作者
没有文本，更没有AIX。。。。。。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wuicpp

论坛徽章:
0
5楼 [报告]
发表于 2013-07-12 15:59 |只看该作者
本帖最后由 wuicpp 于 2013-07-13 10:43 编辑

使用od看了一下文件,里面有控制字符^@, ASCII码等于00，也就是NUL值，不知道这种怎么解决。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
cao627

论坛徽章:
6
摩羯座 日期:2013-08-24 10:43:10狮子座 日期:2013-08-25 10:27:06天秤座 日期:2013-09-11 20:28:44午马 日期:2014-09-28 16:06:0015-16赛季CBA联赛之八一 日期:2016-12-19 13:55:0515-16赛季CBA联赛之天津 日期:2016-12-20 14:01:23
6楼 [报告]
发表于 2013-07-12 16:19 |只看该作者
a=`grep  -n  …`
head -n $a …

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Shell_HAT

论坛徽章:
33
ChinaUnix元老 日期:2015-02-02 08:55:39CU十四周年纪念徽章 日期:2019-08-20 08:30:3720周年集字徽章-周 日期:2020-10-28 14:13:3020周年集字徽章-20 日期:2020-10-28 14:04:3019周年集字徽章-CU 日期:2019-09-08 23:26:2519周年集字徽章-19 日期:2019-08-27 13:31:262016科比退役纪念章 日期:2022-04-24 14:33:24
7楼 [报告]
发表于 2013-07-12 17:04 |只看该作者
能否把你写的sed/awk完整代码贴出来看看？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wuicpp

论坛徽章:
0
8楼 [报告]
发表于 2013-07-12 18:42 |只看该作者
6楼说的就是我现在大概的处理步骤，但是对于grep结果几十行，总是对一个一两千万行的文件head tail操作，太慢了；

7楼让贴代码，代码很简单就是grep 一串数字 文件
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP