如何按关键字拼凑两个文本文件?

paza

比如第一个文本a.txt ,格式如下|USRID|NAME|LANG|
     第二个文本b.txt ,格式如下|USRID|STATUS|LEVEL|

   怎样把USDID一样的行拼成新行输出到一个文件,不匹配的不输出?

   我写了一个SHELL发现速度太慢,请高手指教.



if [ -f ok.log ];then
        rm ok.log
fi

while read LINE
do
        USRID=`echo $LINE|cut -d"|" -f1`
        OWNBCHCOD=`echo $LINE|cut -d"|" -f3`
        PARBCHCOD=`echo $LINE|cut -d"|" -f4`
        USG=`echo $LINE|cut -d"|" -f5`
        ETY=`echo $LINE|cut -d"|" -f6`
        LEV=`echo $LINE|cut -d"|" -f7`
        REL=`echo $LINE|cut -d"|" -f8`
        
        awk -F"|" '{if($1==USRID) {printf("%s%s|%s|%s|%s|%s|%s|\n",$0,OWNBCHCOD,PARBCHCOD,USG,ETY,LEV,REL)} }' USRID=$USRID OWNBCHCOD=$OWNBCHCOD PARBCHCOD=$PARB
CHCOD USG=$USG ETY=$ETY LEV=$LEV REL=$REL b.txt>>ok.log

done<a.txt

admirer

1. while read line
   
2. do
   
3. a=`echo $line|awk -F"|" '{print $2}'`
   
4. b=`grep "^|"${a} b.txt`
   
5. if [ -n "$b" ]
   
6. then
   
7.   echo ${line}${b}
   
8. fi
   
9. done <a.txt

复制代码

paza

还是速度太慢,似乎AWK ,SED,GREP都是全局循环,执行效率太低.
如果上述文件各有1500行,则最后要执行1500*1500次.

kkng09

如果上述文件各有1500行,只要执行1500+1500次

1. [gary@gary prg]$ cat a.txt
   
2. bb|b2|b3
   
3. dd|d2|d3
   
4. ee|e2|e3
   
5. aa|a2|a3
   
6. [gary@gary prg]$ cat b.txt
   
7. aa|a4|a5
   
8. bb|b4|b5
   
9. cc|c4|c5
   
10. ee|e4|e5
    
11. [gary@gary prg]$ cat merge.sh
    
12. #!/bin/bash
    
13. end() {
    
14.         rm /tmp/a$$
    
15.         rm /tmp/b$$
    
16.         exit
    
17. }
    
18. reada() {
    
19.         read -u 3 lineA || end
    
20. }
    
21. readb() {
    
22.         read -u 4 lineB || end
    
23. }
    
24. sort a.txt >/tmp/a$$
    
25. sort b.txt >/tmp/b$$
    
26. 
    
27. exec 3</tmp/a$$
    
28. exec 4</tmp/b$$
    
29. reada
    
30. readb
    
31. while true ;do
    
32.         if [[ "${lineA%%|*}" = "${lineB%%|*}" ]]; then
    
33.                 echo "${lineA}|${lineB#*|}"
    
34.                 reada
    
35.                 readb
    
36.         elif [[ "${lineA%%|*}" > "${lineB%%|*}" ]]; then
    
37.                 readb
    
38.         else
    
39.                 reada
    
40.         fi
    
41. done
    
42. [gary@gary prg]$ ./merge.sh
    
43. aa|a2|a3|a4|a5
    
44. bb|b2|b3|b4|b5
    
45. ee|e2|e3|e4|e5
    

复制代码

OS: Redhat 8.0
SHELL: Bash

夜未眠

我也来一个,文件file1和file2某些字段合并.
$ awk -f un.awk

1. 
   
2. #awk script [ un.awk ]
   
3. BEGIN{
   
4.                 FS="|"
   
5.                 while("cat file1"|getline){
   
6.                                 uid[$2]=$2
   
7.                                 name[$2]=$4
   
8.                 }
   
9.                 while("cat file2"|getline){
   
10.                                 uid[$2]=$2
    
11.                                 level[$2]=$5
    
12.                 }
    
13.                 for(idx in uid){
    
14.                                 printf("|%s|%s|%s|\n",uid[idx],name[idx],level[idx])
    
15.                 }               
    
16.                 exit            
    
17. }                              
    

复制代码

taige

先按关键字排序，在查找

maids

我也来一个，试试快慢
[/code]
cat f1>>f2
sort -t\| -k 1 f2|sed 's/|/:/' >f.tmp
awk -F ":" '
{if (key==$1) {printf "%s|%s|%s\n",key,line,$2}
else {key=$1;line=$2}}' f.tmp >f.new
rm f.tmp

zhangyo1557

join试试这个命令

mingbo

try command "paste"

admirer

[quote]原帖由 "zhangyo1557"]join试试这个命令[/quote 发表：
  
同意！
借用fbmail 的数据

1. sort file1 >a
   
2. sort file2 >b
   
3. join -t"|" -j1 2 -j2 2  a b  |sed 's/||/|/g;s/^/|/'  
   
4. |123456||张二|abcdefg||AAAAAA
   
5. |21332423|河山|okojwer|CCCCCC
   
6. |456789|王习|yummok|BBBBBB

复制代码

   
如果去掉行首的字符“|”，就会更好处里了（可以省略
-j1 2 -j2 2及|sed 's/||/|/g;s/^/|/' 部分的内容）！
简化后

1. join -t"|"  aa bb
   
2. 结果
   
3. 123456|张二|abcdefg|AAAAAA
   
4. 21332423|河山|okojwer|CCCCCC
   
5. 456789|王习|yummok|BBBBBB

复制代码