删除重复行
求大神帮忙，现有两个文件内容如下 file1 20150202 R C R IN4YA65xFWObEyh CNY -5.52 104110548991193 Return:v1-dujuvw==-AakuSmMV Cup 277 D01-4979176-2189524 20150202 R C R 28342574146 CNY 99.00 0 ABC:crow:c/Hn7hZWRhmOPJnwX2oZjA CmbMbcc 67 C03-2824716-5411212 20150202 R C R ...
by cwd0204 - Shell - 2015-05-01 07:24:15 阅读（2069） 回复（16）
首先是:sort进行排序，然后就开始使用正则删除，看的很头大，没看懂什么意思，烦请高手帮忙解释一下，谢谢。[code]g/^\(.\+\)$\n\1/d g/\%(^\1$\n\)\@<=\(.*\)$/d g/\%(^\1\>.*$\n\)\@<=\(\k\+\).*$/d [/code]
比如： cat file 111111111111111111 222222222222222222 111111111111111111 333333333333333333 444444444444444444 111111111111111111 输出为： 111111111111111111 222222222222222222 333333333333333333 444444444444444444 此外，还要源文件有几十万行的时候会怎样呢 之前�行值芴�删除连续重复行的帖子： cat file 111111111111111111 222222222222222222 222222222222222222 333333333333333333 444444444444444444 ...
想写了一个抓取页面上所有的链接和程序， 现在碰到一个问题是怎么去掉重复的链接地址： 代码如下： use LWP::Simple; use HTML::LinkExtor; use URI::URL; my $argc=@ARGV; if($argc==0) { print STDERR "Usage: url.pl URL\n"; exit; } my $url=URI::URL->new($ARGV[0]); my $doc=get($url) or die; my $extor=HTML::LinkExtor->new(undef, $url); $extor->parse($doc) or die; my @links=$extor->links; foreach my $alink...
要统计各种数据文件，若干记录是否在出现在，大日志文件里，或是jcl，统计某个记录的条数，连接shell,处理为原始的文本数据（从数据库来），操控数据库，shell调用sqlplus,执行sql,perl DBI连接oracle,自动建立目录，消除重复行,排序，等等，用awk,shell,sed,grep,perl乱七八糟的。 发现Perl单独就可以把上面的工作基本全都做了，只要你不嫌麻烦代码。Perl真的挺好玩了，特别是用Perl写的相对比较复杂的数据结构，还有OO 的东西。 ...
本帖最后由 linux_kaige 于 2012-11-14 11:28 编辑 需求：当多行tid重复时，保留tid小的的行，其他重复的行删除。 原书数据： select t.*,t.rowid from test12 t; TID TNAME TTIME SSEX ROWID 11 12 AAAMP+AAEAAAAC0AAA 111 1a2 AAAMP+AAEAAAAC0AAB 21 2121 2012-11-13 15:30:45 AAAMP+AAEAAAAC0AAC 21 2121 2012-11-13 15:41:18 男 AAAMP+AAEAAAAC0AAD 23 2121 ...
本帖最后由 iamline 于 2012-09-10 11:22 编辑 本人有个文件，如下格式，比较相邻行，如果$1和$2一样的，如下面的第一行与第二行，则认为它们是重复行（其他列的值可以不同），删除对应$7的值比较小的 那一行 gi|330443391 23434 A R 1 25 15.92% gi|330443391 23434 A W 1 131 83.44% gi|330443391 23484 A R 83 192 69.82% gi|330443391 23519 T Y 60 202 77.1% gi|330443391 23544 T W 21 136 86.62% gi|330...
1 218.107.55.140:16133 #广东省广州市 2 218.107.63.89:16033 #广东省广州市联通 3 218.107.63.89:16033 #广东省广州市联通 4 123.125.49.57:40533 #北京市联通ADSL 5 60.12.227.134:13233 #浙江省杭州市联通IDC机房 6 123.125.49.12:13733 #北京市联通ADSL 7 60.12.227.134:13233 #浙江省杭州市联通IDC机房 8 123.125.49.235:51338 #北京市联通ADSL 9 123.125.49.59:10276 #北京市联通ADSL 10 123.125.48.216:10806 #北京市联通A...
