求一段脚本(sed and file)

QQ364009738

#!/bin/bash
cat temp1.txt|while read line
do       
              if [ `expr substr "\$line" 1 11` ]
                       then
                       vart +=`expr substr "\$line" 1 11`+"|"
              fi
done
/bin/sed "/$vart/d" temp.txt>tt.txt

逻辑是要在文件temp.txt中删除重复的手机号码(temp1.txt和temp.txt中重复的手机号码)
本来用java一次可以搞定,数据量太大,内存不够只好用shell来做
这里关键是变量替换没搞懂,怎么改也不行

ly5066113

temp.txt 长啥样？重复的标准是什么？

linux_paly

try:

#!/bin/bash
cat temp1.txt|while read line
do      
              if [ `expr substr "\$line" 1 11` ]
                       then
                       vart +=`expr substr "\$line" 1 11`+"|"
/bin/sed "/$vart/d" temp.txt>>tt.txt
              
fi
done

davistar

给格式看看　类似　grep -vf temp1.txt temp.txt > tt.txt

QQ364009738

两个文件的每一行的1,11个字符是手机号码,这个是重复标准

好象不支持+=操作符

sed的模式匹配支持 | or?

QQ364009738

文件格式就是下面这样的,行数比较多
13352692328|20070119094602|20070627164943||91051315441

ly5066113

awk -F\| '!a[$1]++' temp.txt > tt.txt

QQ364009738

我的思路是找出所有重复的号码,最后一次用sed删除重定向
#!/bin/bash
cat temp1.txt|while read line
do        
        if [ `expr substr "\$line" 1 11` ]
                then
                        if (find ) #判断重复
                                then
                                          vart +=`expr substr "\$line" 1 11`+"|" #找出重复手机号码用|分割
                        fi
              fi
done
#删除重复
/bin/sed "/$vart/d" temp.txt>tt.txt

linux_paly

错误,$vart 是最后次，输出.....

QQ364009738

#!/bin/bash
cat temp1.txt|while read line
do        
    if [ `expr substr "\$line" 1 11` ] #判断文件是否结束
                then
                        if (grep `expr substr "\$line" 1 11` temp.txt ) #判断是否在temp.txt中,如果不在输出到output.txt
                                then
                                :
                        else
                                echo line >>output.txt
                                echo "\r\n">>output.txt
                        fi
     fi
done


不知道这样行不行?

明天再试一下