免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2370 | 回复: 0

python小白问题 (urllib 无法设置代理 [复制链接]

论坛徽章:
0
发表于 2017-09-28 09:49 |显示全部楼层
python3.6版本,设置代理后访问获取ip的网站应该是代理的地址,可以设置后访问网站还是自己的ip(火狐浏览器可以成功),下面是代码


import urllib
import chardet

dict = {
            'url': 'http://2017.ip138.com/ic.asp',
            'requestType': 'GET',
            'isProxy': True,
            'isHttps': False,
            'proxyProtocol':'https',
            'proxyIp':'36.251.248.76',
            'proxyPort':'80',
        }

urlInfo= urllib.request.urlparse(dict['url']);
headers = [
    ('Host', urlInfo.hostname),
    ('User-Agent', ' Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'),
    ('Accept', ' text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'),
    ('Accept-Language', ' zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3'),
    ('Accept-Encoding', 'deflate'),
    ('Referer', ' http://www.baidu.com'),
    ('Connection', ' keep-alive'),
    ('Cache-Control', ' max-age=0'),


rq = urllib.request;
proxy = rq.ProxyHandler({dict['proxyProtocol']:dict['proxyIp']+":"+dict['proxyPort']});
opener = rq.build_opener(proxy);
opener.addheaders=headers;
response = opener.open(dict['url']);
data = response.read();
charset = chardet.detect(data)['encoding'];
body = data.decode(charset, 'ignore');
opener.close();
print(body)
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP