用shell替换文件中的乱码字符

qiujian5628

文件有多行记录，其中某些行记录如下：
01|2010-07-26 14:06:13|ë|F
01|2010-07-26 14:06:25|ã|F
01|2010-08-04 15:14:26|ç®Âª¢:j!Š 0
03|^Cs^ZRP?|F
03|2010-11-06 09:48:31|0

我如何替换每一行的乱码字符，使之可以被sqlldr导入数据库中？
我用正则判断，[^0-9,^a-z,^A-Z,^|,^-,^:]，可以判断出一些乱码字符，但是ë，ã，Â这样的字符无法准确判断出来，
想过获取每个字符的ascii码值，然后不在0-127之间的都认为是乱码，使用 printf "%d" "'A"能打印出ascii码值，但在shell中如何编写脚本？

qiujian5628

查到了如下命令能获取ascii码值
echo a| awk 'BEGIN { for (i=0;i<255;i++) a[sprintf("%c",i)]=i}
{print a[$0]} '

如何结合到shell脚本中实现我的要求？

昭襄王

's/[^[:ascii:]]/target/g'
怎么让sed支持这种写法？

qiujian5628

LC_COLLATE=C sed -i 's/[^-,^0-9,^a-z,^A-Z,^[:space:],^|,^:,^@,^.]//g'
这样可以吗？

昭襄王

^只在方括号里面的开头出现才有意义

qiujian5628

sed既想全局替换，又想将被替换的原始行输出到某个文件，该如何操作？

L_kernel

sed既想全局替换，又想将被替换的原始行输出到某个文件，该如何操作？
qiujian5628 发表于 2010-11-18 16:11

    用两个sed规则，-e选项指定不同的过滤方式。第一个先打印，接下来的-e才是替换~~

qiujian5628

用两个sed规则，-e选项指定不同的过滤方式。第一个先打印，接下来的-e才是替换~~
L_kernel 发表于 2010-11-18 18:50

在同一行中sed -e -e与分开sed -e ,sed -e 效率上有差别吗？

L_kernel

在同一行中sed -e -e与分开sed -e ,sed -e 效率上有差别吗？
qiujian5628 发表于 2010-11-19 09:46

    显然，前面那个快的。shell中fork一个sed，然后sed对应两条过滤规则。后者是要fork两次。