请教一个string.replace()的问题

whosy

我使用Python 3.2.2从网页上抓取一段C代码，代码中有如下代码：
#include <stdio.h>
用http.client.HTTPConnection请求页面后，此段代码变为如下：
#include &lt;stdio.h&gt;

整个页面html代码已经使用正则表达式进行处理了，剩下的就是把"&lt;"和"&gt;"替换为"<"和">"
问题出现了，很诡异：
string = string.replace("&lt;","<")
string = string.replace("&gt;",">")

结果整个代码#include &lt;stdio.h&gt;都没了

如果改为
string = string.replace("&lt;","a")
string = string.replace("&gt;","a")
则代码被替换为#include astdio.ha，执行正确

求解！快要崩溃了！
十分感谢各位大虾！！！

anonymous0502

试了下没有发现有这样的问题

1. >>> a=r'#include &lt;stdio.h&gt;'
   
2. >>> a
   
3. '#include &lt;stdio.h&gt;'
   
4. >>> a.replace('&lt;','<')
   
5. '#include <stdio.h&gt;'
   
6. >>> a.replace('&gt;','>')
   
7. '#include &lt;stdio.h>'
   
8. >>> a=a.replace('&lt;','<')
   
9. >>> a=a.replace('&gt;','>')
   
10. >>> a
    
11. '#include <stdio.h>'
    

复制代码

whosy

回复 2# anonymous0502
对啊，直接在IDLE中填一个字符串来测试是没有问题的，但是一旦到程序中就有问题了。
把我写的程序贴出来一部分吧：

1. import re
   
2. import http.client
   
3. import logging
   
4. import os
   
5. from os.path import join
   
6. 
   
7. Error = (
   
8.     {
   
9.         0 : "ok" ,
   
10.         1 : "error" ,
    
11.         2 : "connection failed" ,
    
12.         3 : "decode failed" ,
    
13.         4 : "file operate error"
    
14.         }
    
15.     )
    
16. 
    
17. class HttpDownload:
    
18.     def __init__(self, hostname = r"127.0.0.1"):
    
19.         self.hostname = hostname
    
20.         #创建正则表达式对象，用来抽取网页中的代码
    
21.         self.Rex1 = re.compile(r'(?<=sourcefirst).+(?=sourcelast)',re.DOTALL)
    
22.         self.Rex2 = re.compile(r'(?<=</a>)[^<>]+(?=</div>)', re.IGNORECASE)
    
23.         
    
24.     def Start(self, HttpPath, DstPath):
    
25.         if os.path.exists(DstPath):
    
26.             return 0
    
27.         #连接服务器
    
28.         conn = http.client.HTTPConnection(self.hostname)
    
29.         
    
30.         #将路径中的空格替换为%20编码
    
31.         path = HttpPath.replace(r" ",r"%20")
    
32.         print("path = " + path)
    
33.         conn.request("GET",path)
    
34.         response = conn.getresponse()
    
35. 
    
36.         #若URL请求不成功，则返回错误
    
37.         print("response.status = " , response.status)
    
38.         if response.status != 200:
    
39.             conn.close()
    
40.             return 2
    
41.         
    
42.         content = response.read()
    
43.         conn.close()
    
44.         try:
    
45.             content = content.decode("utf-8")
    
46.             encode = "utf-8"
    
47.         except UnicodeDecodeError:
    
48.             content = content.decode("latin_1")
    
49.             encode = "latin_1"
    
50.         except Exception:
    
51.             return 3
    
52.         
    
53.         string = str(content)
    
54.         #第一次匹配
    
55.         match = self.Rex1.search(string)
    
56.         if not match:
    
57.             return 0
    
58.         
    
59.         string = str(match.group())
    
60.         #替换字符
    
61.         #string = string.replace("&lt;","<")#就这两行出现问题
    
62.         #string = string.replace("&gt;",">")        
    
63.         #第二次匹配
    
64.         codes = self.Rex2.findall(string)
    
65. 
    
66.         if not codes:
    
67.             print("No codes")
    
68. 
    
69.         #保存文件
    
70.         if DstPath:
    
71.             fd = open(file = DstPath, mode = 'w', encoding = encode)
    
72.             for i in codes:
    
73.                 fd.write(i)
    
74.                 fd.write('\r\n')
    
75.             fd.close()
    
76.         return 0
    

复制代码

求教！

anonymous0502

用调试工具单步运行看看变量的值啊，或者在你觉得有问题的地方前后打印变量的值出来看看。

whosy

回复 4# anonymous0502


    大哥，把那两行注释掉之后，处理过的字符串写到文件中就有#include &lt;stdio.h&gt;这一行，一旦这两行代码启用，则就没有了#include &lt;stdio.h&gt;这一行。
那我再调试下吧

anonymous0502

64行再次过滤这里的问题吧？

1. >>> Rex2 = re.compile(r'(?<=</a>)[^<>]+(?=</div>)', re.IGNORECASE)
   
2. >>> a='#include &lt;stdio.h&gt;'
   
3. >>> v=Rex2.findall(a)
   
4. >>> v
   
5. []
   
6. >>> a='#include <stdio.h>'
   
7. >>> v=Rex2.findall(a)
   
8. >>> v
   
9. []

复制代码

我这里模拟得也不正确，文本前后还有其他的内容吧，正反向预搜索用得不熟，还不太会造数据来模拟。

whosy

回复 6# anonymous0502


    实际用于测试的数据是这样的，我给你截取一段

1. <div class="parity0 source"><a href="#l29" id="l29">    29</a> #include &lt;stdio.h&gt;
   
2. </div>
   
3. <div class="parity1 source"><a href="#l30" id="l30">    30</a> #include &lt;sys/strlog.h&gt;
   
4. </div>

复制代码

如果在IDLE中构造并测试的话是可以的

whosy

似乎发现问题了，把上面的测试代码存到文本文件中，然后读取，结果如下：

1. >>> fd  = open("c:\\1.txt")
   
2. >>> string = fd.read()
   
3. >>> fd.close()
   
4. >>> string
   
5. '<div class="parity0 source"><a href="#l29" id="l29">    29</a> #include &lt;stdio.h&gt;\n</div>\n<div class="parity1 source"><a href="#l30" id="l30">    30</a> #include &lt;sys/strlog.h&gt;\n</div>'
   
6. >>> string = string.replace("&lt;","<")
   
7. >>> string = string.replace("&gt;",">")
   
8. >>> string
   
9. '<div class="parity0 source"><a href="#l29" id="l29">    29</a> #include <stdio.h>\n</div>\n<div class="parity1 source"><a href="#l30" id="l30">    30</a> #include <sys/strlog.h>\n</div>'
   
10. >>> rex = re.compile(r"(?<=</a>)[^<>]+(?=</div>)", re.I)
    
11. >>> ss = rex.findall(string)
    
12. >>> ss
    
13. []

复制代码

估计是换行符'\n'的问题，我再测试下

anonymous0502

好像是Rex2这个正则表达式的问题，我用替换后得到的文本在正则表达式工具中测试匹配不到任何结果

anonymous0502

1. Rex2 = re.compile(r'(?<=</a>).*?(?=</div>)', re.IGNORECASE|re.M|re.DOTALL)

复制代码

这样好像可以吧，正则还不太熟，你看看对不对。

(?<=</a>)(.*)?(?=</div>)这样写用测试工具测好像也可以，但是在python中会报错，不清楚原因。


是self.Rex2 = re.compile(r'(?<=</a>)[^<>]+(?=</div>)', re.IGNORECASE)这个正则表达式问题吧，替换后得到的数据是这样的：
<div class="parity0 source"><a href="#l29" id="l29">    29</a> #include <stdio.h>
</div>
<div class="parity1 source"><a href="#l30" id="l30">    30</a> #include <sys/strlog.h>
</div>

(?<=</a>)[^<>]+(?=</div>)这个表达式不是不对了吗？</a>和</div>之间除开<>号之外的一些字符串，那不是永远匹配不到你要的结果？是这样吧？