免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 3825 | 回复: 24

[文本处理] 还是文本处理,估计要awk。请大神分享经验 [复制链接]

论坛徽章:
5
天秤座
日期:2015-04-08 20:28:42辰龙
日期:2015-04-08 20:35:06寅虎
日期:2015-04-08 20:35:56子鼠
日期:2015-04-08 20:36:192015亚冠之迪拜阿赫利
日期:2015-05-13 16:52:25
发表于 2015-04-13 15:52 |显示全部楼层
本帖最后由 ywmkelly 于 2015-04-13 17:58 编辑

如下:字串随机,在文本中行不固定,如何根据末几位数字相同来删除第二行?
要匹配的数字是行尾,如果是行首,我想可以用cut来协助,但是是行尾。

[root@localhost ~]# cat abc -n
     1  awfjlaa
     2  faw
     3  589-1/2345678901
     4  179837-2-42-78901
     5  123546
     6  654321
     7  156888651/234999065488
     8  147987-280532465488
要得到结果如下:
[root@localhost ~]#cat abc -n
     1  awfjlaa
     2  faw
     3  589-1/2345678901
     4  123546
     5  654321
     6  156888651/234999065488
   
12楼已经解决。因为第3行和第4行末尾有个不可见字符不同。所以没有去掉。

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
发表于 2015-04-13 16:07 |显示全部楼层
回复 1# ywmkelly

1. input
2. procedure
3. output

589-1/2345678901
179837-2-42-78901

whtat do you want to get?   

论坛徽章:
5
天秤座
日期:2015-04-08 20:28:42辰龙
日期:2015-04-08 20:35:06寅虎
日期:2015-04-08 20:35:56子鼠
日期:2015-04-08 20:36:192015亚冠之迪拜阿赫利
日期:2015-05-13 16:52:25
发表于 2015-04-13 16:11 |显示全部楼层
回复 2# jason680


    589-1/2345678901

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
发表于 2015-04-13 16:13 |显示全部楼层
不知所云.........

论坛徽章:
5
天秤座
日期:2015-04-08 20:28:42辰龙
日期:2015-04-08 20:35:06寅虎
日期:2015-04-08 20:35:56子鼠
日期:2015-04-08 20:36:192015亚冠之迪拜阿赫利
日期:2015-05-13 16:52:25
发表于 2015-04-13 16:14 |显示全部楼层
  1. [root@localhost ~]# cat abc -n
  2.      1  awfjlaa
  3.      2  faw
  4.      3  589-1/2345678901
  5.      4  179837-2-42-78901
  6.      5  123546
  7.      6  654321
  8.      7  156888651/2349990-65488
  9.      8  147987-280532465488
  10. [root@localhost ~]#
复制代码
去掉第4行和第8行。因为末尾几位重复。

论坛徽章:
5
天秤座
日期:2015-04-08 20:28:42辰龙
日期:2015-04-08 20:35:06寅虎
日期:2015-04-08 20:35:56子鼠
日期:2015-04-08 20:36:192015亚冠之迪拜阿赫利
日期:2015-05-13 16:52:25
发表于 2015-04-13 16:16 |显示全部楼层
回复 4# reyleon

末尾几位重复的行,去掉一行。
   

论坛徽章:
5
天秤座
日期:2015-04-08 20:28:42辰龙
日期:2015-04-08 20:35:06寅虎
日期:2015-04-08 20:35:56子鼠
日期:2015-04-08 20:36:192015亚冠之迪拜阿赫利
日期:2015-05-13 16:52:25
发表于 2015-04-13 16:18 |显示全部楼层
不能匹配关键字的,因为字符随机。
但是要匹配的都是行尾几个字符。
。这种有方法么

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
发表于 2015-04-13 16:26 |显示全部楼层
回复 5# ywmkelly

$ awk -vFS='' '{P=(N==$NF)?0:1;N=$NF}P' FILE
     1  awfjlaa
     2  faw
     3  589-1/2345678901
     5  123546
     6  654321
     7  156888651/2349990-65488

   

论坛徽章:
5
天秤座
日期:2015-04-08 20:28:42辰龙
日期:2015-04-08 20:35:06寅虎
日期:2015-04-08 20:35:56子鼠
日期:2015-04-08 20:36:192015亚冠之迪拜阿赫利
日期:2015-05-13 16:52:25
发表于 2015-04-13 16:32 |显示全部楼层
本帖最后由 ywmkelly 于 2015-04-13 17:59 编辑

回复 8# jason680


    [root@localhost ~]# cat -n abc
     1  awfjlaa
     2  faw
     3  589-1/2345678901
     4  179837-2-42-78901
     5  123546
     6  654321
     7  156888651/2349990-65488
     8  147987-280532465488
[root@localhost ~]# awk -vFS='' '{P=(N==$NF)?0:1;N=$NF}P' abc
awfjlaa
faw
589-1/2345678901
179837-2-42-78901
123546
654321
156888651/2349990-65488
大神,你这个只匹配单个字符。

论坛徽章:
23
15-16赛季CBA联赛之吉林
日期:2017-12-21 16:39:27白羊座
日期:2014-10-27 11:14:37申猴
日期:2014-10-23 08:36:23金牛座
日期:2014-09-30 08:26:49午马
日期:2014-09-29 09:40:16射手座
日期:2014-11-25 08:56:112015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东
日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东
日期:2016-01-19 13:33:372015亚冠之山东鲁能
日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者
日期:2015-09-21 08:27:57
发表于 2015-04-13 16:40 |显示全部楼层
回复 1# ywmkelly


末尾几位数字?确定是5位?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP