忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
楼主: nanshanjin

如何去掉重复的行 [复制链接]

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2017-09-01 09:03 |显示全部楼层
104359176 发表于 2017-08-29 14:56
把正则玩到如此地步,基本上可以不用学加密了。

大神的意思,就是我那个正则书写的有如天书呗。
示例文本在此
sdfsdfxxx
sdfsdcccc
sfv
vb
delA
cb
delB
cbb
delC
zxc
cvbn
againA
cbEND
break
againB


论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2017-09-01 09:05 |显示全部楼层
回复 10# rubyish
sdfsdfxxx
sdfsdcccc
sfv
vb
delA
cb
delB
cbb
delC
zxc
cvbn
againA
cbEND
break
againB

我只是将您那个例子 展开一下,不知行不行?


论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2017-09-01 09:29 |显示全部楼层
回复 10# rubyish
这个是你的例子。。。

  1. #!/usr/bin/perl
  2. use strict;
  3. use warnings;

  4. local $/ = undef;
  5. local $_ = <DATA>;
  6. s/^(?:([a-z]{2,5})\N*\n)(.*?)(^\1\N*\n)+/$2/gms;
  7. print;

  8. __DATA__
  9. sdfsdfxxx
  10. sdfsdcccc
  11. sfv
  12. vb
  13. delA
  14. keep
  15. delB
复制代码



论坛徽章:
7
戌狗
日期:2013-12-15 20:43:38技术图书徽章
日期:2014-03-05 01:33:12技术图书徽章
日期:2014-03-15 20:31:17未羊
日期:2014-03-25 23:48:20丑牛
日期:2014-04-07 22:37:44巳蛇
日期:2014-04-11 21:58:0915-16赛季CBA联赛之青岛
日期:2016-03-17 20:36:13
发表于 2017-09-02 01:56 |显示全部楼层
回复 13# sunzhiguolu

s/^(?[a-z]{2,5})\N*\n)(.*?)(^\1\N*\n)+/$2/gms;
XXle~~

论坛徽章:
7
戌狗
日期:2013-12-15 20:43:38技术图书徽章
日期:2014-03-05 01:33:12技术图书徽章
日期:2014-03-15 20:31:17未羊
日期:2014-03-25 23:48:20丑牛
日期:2014-04-07 22:37:44巳蛇
日期:2014-04-11 21:58:0915-16赛季CBA联赛之青岛
日期:2016-03-17 20:36:13
发表于 2017-09-02 02:20 |显示全部楼层
回复 13# sunzhiguolu

If DATA:  >= 6
  1. dontdeleteme1
  2. dontdeleteme2
  3. dontdeleteme3
复制代码
Ruhe xiugai? 3Q~~

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2017-09-03 09:49 |显示全部楼层
回复 15# rubyish
了解了
  1. #!/usr/bin/perl
  2. use strict;
  3. use warnings;

  4. local $/ = undef;
  5. local $_ = <DATA>;
  6. s/^(?:([a-z]{2,})\N*\n)(.*?)(^\1\N*\n)+/$2/gms;
  7. print;

  8. __DATA__
  9. sdfsdfxxx
  10. sdfsdcccc
  11. sfv
  12. vb
  13. delA
  14. keep
  15. delB
  16. dontdeleteme1
  17. dontdeleteme2
  18. dontdeleteme3
复制代码




论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2017-09-03 10:20 |显示全部楼层
  1. #!/usr/bin/perl
  2. use strict;
  3. use warnings;

  4. my @aData = ['*'];
  5. while(<DATA>){
  6.     my ($t) = /\A(\S{2})/;
  7.     my ($pos) = grep {$t eq $aData[$_][0]} 0 .. $#aData;
  8.     defined($pos) ? push(@{$aData[$pos][-1]}, $_) : push(@aData, [$t,[$_]]);
  9. }

  10. foreach (grep {@{$_->[-1]} == 1} @aData){
  11.     print($_->[-1][0]);
  12. }

  13. __DATA__
  14. sdfsdfxxx
  15. sdfsdcccc
  16. sfv
  17. vb
  18. delA
  19. cb
  20. delB
  21. cbb
  22. delC
  23. zxc
  24. cvbn
  25. againA
  26. cbEND
  27. break
  28. againB
复制代码
Can't use string ("*") as an ARRAY ref while "strict refs" in use at ...
这是啥情况?

论坛徽章:
7
戌狗
日期:2013-12-15 20:43:38技术图书徽章
日期:2014-03-05 01:33:12技术图书徽章
日期:2014-03-15 20:31:17未羊
日期:2014-03-25 23:48:20丑牛
日期:2014-04-07 22:37:44巳蛇
日期:2014-04-11 21:58:0915-16赛季CBA联赛之青岛
日期:2016-03-17 20:36:13
发表于 2017-09-05 02:41 |显示全部楼层
回复 16# sunzhiguolu

删掉一个文本里有2个及以上前5位字符相同的行
3Q~ Wode lijie shi?

2 .. 5  del
6 ..      dont del

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2017-09-05 13:05 |显示全部楼层
回复 18# rubyish
纯正则进行判断好像有点难度。。。

#!/usr/bin/perl
use strict;
use warnings;

local $/ = undef;
local $_ = <DATA>;
s/^([a-z]{2,})\N*\n(.*?)(?:^\1\N*\n)+/length($1) > 5 ? $& : $2/gems;
print;

__DATA__
sdfsdfxxx
sdfsdcccc
sfv
vb
delA
keep
delB
dontdeleteme1
dontdeleteme2
dontdeleteme3



论坛徽章:
7
戌狗
日期:2013-12-15 20:43:38技术图书徽章
日期:2014-03-05 01:33:12技术图书徽章
日期:2014-03-15 20:31:17未羊
日期:2014-03-25 23:48:20丑牛
日期:2014-04-07 22:37:44巳蛇
日期:2014-04-11 21:58:0915-16赛季CBA联赛之青岛
日期:2016-03-17 20:36:13
发表于 2017-09-06 02:00 |显示全部楼层
回复 19# sunzhiguolu

3Q~~

Can't use string ("*") as an ARRAY ref while "strict refs" in use at ...


foreach (grep {@{$_->[-1]} == 1} @aData){

@{ ARRAYREF }

@{ $_->[-1] }
$_ is ARRAYREF
$_->[-1] '*' not ARRAYREF

评分

参与人数 1信誉积分 +9 收起 理由
sunzhiguolu + 9 牛B人士

查看全部评分

您需要登录后才可以回帖 登录 | 注册

本版积分规则

SACC2017购票8.8折优惠进行时

2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。今年,大会以“云智未来”为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置2大主会场,18个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100余位技术专家及行业领袖来分享他们的经验;并将吸引4000+人次的系统运维、架构师及IT决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年8月2日前

活动链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP