关于文件对比的效率问题

fttskyblue

RT，假设有两个文件A和B，都有好几千条数据，且每条数据的长度是固定的N。
有一个模板tmplate，定义了每条数据的第几个字段的起始字符位置以及长度，类似这种格式：
2   3   5
表示第2个字段是从第3个字符开始的5个字符。
在文件A和B中，第一个字段是关键字，假设A里面的第一个字段值为MF，那就需要到B中找到第一个字段为MF的记录，然后根据模板对字段的定义依次对比该记录的每个字段。

我之前的做法是先用读取A里面的一条记录grep找到B里面的记录，然后先整行对比A和B里面的记录，如果不同的话再按照template定义的逐字段对比。
代码如下：
while read source_rec
do
     dest_rec=`grep ${source_rec:0:2} fileB`  
     if [ "$source_rec" != "$dest_rec" ]
     then
     i=1
     while read tmp
     do
     field_name[$i]=`echo $tmp|awk '{print $2}'`
     field_loc[$i]=`echo $tmp|awk '{print $3}'`
     start_p[$i]=`echo $tmp|awk '{print $4}'`
     field_len[$i]=`echo $tmp|awk '{print $5}'`
     source_rec_value="${source_rec((${start_p[$i]}-1)){field_len[$i]}}"
     dest_rec_value="${dest_rec((${start_p[$i]}-1)){field_len[$i]}}"  
        if [ "$source_rec_value" != "$dest_rec_value" ]
        then
        echo -e "Filename $filename:\t$rec_type record ${field_name[$i]} value for ric $ric_value differs. \
        source value is "$source_rec_value";\tdest value is "$dest_rec_value >>Log
        fi
     let i+=1
     done<template
     fi
done <fileA

不过发现这种方法在数据量大的时候效率显得相当低下，不知道怎样能让对比更加高效。
awk里面可以用FIELDWIDTHS = "2 5 10 6 7 7 35" 这种方式把记录行一次分割成独立的字段，还没去实现，我想可能比之前的方法要好一些。
请高手指点。

fttskyblue

快来人啊，别沉了。

liaosnet

无数据,无真像...

fttskyblue

没人能给个建议吗？

blackold

搞不懂LZ要干吗？

举个例子吧，ls已经给建议了。

皇家救星

a b 模板文件同时读　边读边处理

这样效率比你的高很多

awk支持用getline < "file"读取多个文件

springwind426

用纯shell脚本处理，效率是很低的