求助对字符串进行编码UrlEncode

老狼01

需求一批文本批量进行UTF-8编码，shell 怎么实现

1. test.txt
   
2. 
   
3. 我的家在_19号4楼
   
4. 小黄的学校在哪里
   
5. 小李家电话_0599-888888
   
6. 姓什么_【白】

复制代码

1. 编码后：
   
2. 我的家在_19号4楼     %e6%88%91%e7%9a%84%e5%ae%b6%e5%9c%a8_19%e5%8f%b74%e6%a5%bc
   
3. 小黄的学校在哪里      %e5%b0%8f%e9%bb%84%e7%9a%84%e5%ad%a6%e6%a0%a1%e5%9c%a8%e5%93%aa%e9%87%8c
   
4. 小李家电话_0599-888888   %e5%b0%8f%e6%9d%8e%e5%ae%b6%e7%94%b5%e8%af%9d_0599-888888
   
5. 姓什么_【白】  %e5%a7%93%e4%bb%80%e4%b9%88_%e3%80%90%e7%99%bd%e3%80%91

复制代码

haooooaaa

Bash urlencode and urldecode

1. #!/usr/bin/env python
   
2. #coding:utf-8
   
3. 
   
4. from urllib import urlencode
   
5. 
   
6. s=r'''我的家在_19号4楼
   
7. 小黄的学校在哪里
   
8. 小李家电话_0599-888888
   
9. 姓什么_【白】'''
   
10. 
    
11. 
    
12. for i in s.split():
    
13.     print urlencode({i:i})

复制代码

老狼01

回复 2# haooooaaa   shell 方法呢，怎么实现


   

seanking1987

查了一下资料，只找到shell的一个转换函数iconv，不知道行不行

iconv -f 源字符集 -t 目标字符集  "filename"

bh3531

a='%e6%88%91%e7%9a%84%e5%ae%b6%e5%9c%a8_19%e5%8f%b74%e6%a5%bc'
echo ${a//%/\\x}
    \xe6\x88\x91\xe7\x9a\x84\xe5\xae\xb6\xe5\x9c\xa8_19\xe5\x8f\xb74\xe6\xa5\xbc
eval echo $\'${a//%/\\x}\'
     我的家在_19号4楼
b=$(eval echo $\'${a//%/\\x}\')
echo $b
     我的家在_19号4楼

bh3531

送给楼主一个我自己写的  awk 转换 WEB编码的处理，使用比其他工具灵活。

echo "我的家在_19号4楼" |awk -F "" 'BEGIN{split("35,36,37,38,43,63,64",ExcStr,",");for(i in ExcStr)ExcString[sprintf("%c",ExcStr[i])]=1; for (i=0;i<=255;i++) a[sprintf("%c",i)]=i ;}{for(ii=1;ii<=NF;ii++){if(a[$ii]>=33 && a[$ii]<=126 && ExcString[$ii]!=1){printf "%c",a[$ii]}else{printf "%%%X",a[$ii]};}}'

结果:  %E6%88%91%E7%9A%84%E5%AE%B6%E5%9C%A8_19%E5%8F%B74%E6%A5%BC

注意：如果你的环境语言是 UTF-8 ，那么你要在开始之前加

export LANG=""

一个UTF8中等于3个字符，如果你的环境是 LANG="en_HK.UTF-8" ，那么一个中文当成一个字符处理。
split("35,36,37,38,43,63,64",ExcStr,",")  这个是排除编码，我随便写几个进去，比如说  反斜杠 \ ，他的 编码是 5c ，十进制就是 92，那么要 把\ 转成  %5C ,就把 92 写到排除列表中 就会自动转换。

当然你也改编我的思维，把排除效果做成   直接填写明文字符