麻烦各位帮改改这个 10楼发现个问题

Windows19

回复 20# moperyblue



要能处理上面这种最后一行是没回车符现像

下面最后一行是有回车符就能处理正确

jason680

回复 12# Windows19


$ echo -en "0000\n123\n123" > FILE

$ hexdump -C FILE
00000000  30 30 30 30 0a 31 32 33  0a 31 32 33              |0000.123.123|
0000000c

$ perl -ne '{print unless $seen{$_}++}' FILE
0000
123
123
$ perl -lne '{print unless $seen{$_}++}' FILE
0000
123

Windows19

回复 22# jason680


早上查出是dos格式问题  测试unix格式的没问题     转回unix格式就麻了(脚本因为多了一层工作)  最好能改改针对dos格式最后一行没回车符问题 因为几百个件都是dos格式而且最后一行没回车符
perl -lne '{print unless $seen{$_}++}'  处理unix格式没问题

perl -lne '{print unless $seen{$_}++}'  处理dos格式有最后一行没回车符问题  
测试样本.rar (105 Bytes, 下载次数: 3)

2016-08-30 11:09 上传

点击文件名下载附件

jason680

回复 23# Windows19

$ unix2dos FILE
unix2dos: converting file FILE to DOS format ...

$ hexdump -C FILE
00000000  30 30 30 30 0d 0a 31 32  33 0d 0a 31 32 33        |0000..123..123|
0000000e

$ perl -lne '{print unless $seen{$_}++}' FILE
0000
123
123

$ perl -lne '{s/\r//;print unless $seen{$_}++}' FILE
0000
123

$ perl -lne '{s/\r//;print unless $seen{$_}++}' FILE | hexdump -C
00000000  30 30 30 30 0a 31 32 33  0a                       |0000.123.|
00000009

$ perl -lne 'BEGIN{$\="\r\n"}{s/\r//;print unless $seen{$_}++}' FILE | hexdump -C
00000000  30 30 30 30 0d 0a 31 32  33 0d 0a                 |0000..123..|
0000000b

Windows19

回复 24# jason680


先谢谢了，我看看

moperyblue

回复 25# Windows19


每个文件最后一行都没有"\r"吗?如果这样的话可以对每个文件最后一行末尾添加一个"\r"再处理,如下

1. ls a*|while read i; do sed '${/\r/!s/$/\r/}' "$i"|perl -lne '{print unless $seen{$_}++}' > "$i".txt ; done

复制代码

moperyblue

回复 25# Windows19


每个文件最后一行都没有"\r"吗?如果这样的话可以对每个文件最后一行末尾添加一个"\r"再处理,如下

1. ls a*|while read i; do sed '${/\r/!s/$/\r/}' "$i"|perl -lne '{print unless $seen{$_}++}' > "$i".txt ; done

复制代码

Windows19

24# jason680


可以了，谢谢老师指点
20楼老师也指点过，但当时我可能太大意了，没细注意到   忽略了

Windows19

回复 27# moperyblue


可以了，谢谢老师指点  您20楼那个也可以，不过少敲了一个{  不好意思，我当时测试时也没注意到

moperyblue

回复 28# Windows19


20楼 那样出来的结果文件(xx.txt)是unix格式. 如果符合需求的话可以这样