linux爬虫url编码问题

zxlkiyu

最近在linux下用c学习网络爬虫程序，每次爬取的url链接存储在本地磁盘中，需要时在从磁盘中读取url。
当链接包含中文时，想网站发送url时，会是乱码，请问大神，该如何解决？在线等！

myworkstation

回复 1# zxlkiyu

链接内容是不能有中文的，所以有中文都经过了编码，你怎么可能抓到含”中文明文“的链接呢。中文编码在链接中会选择某种中文编码先编码(gb2312 or utf-。可以看看libcurl。
   

zxlkiyu

回复 2# myworkstation


    谢谢您的回复！
举个例子：网站A为gb2312编码，下面包含一些中文链接a,b,c，这些中文链接应该时经过gb2312编码过的，获取a,b,c后通过creat写入到文件中，
然后在read到爬取队列中，然后通过socket发送 html请求（GET 中文链接a），这是发送过去的就是乱码了，请问是什么原因！

myworkstation

回复 3# zxlkiyu

从文件中读出来的是乱码吗？http协议是正确的吗？
   

zxlkiyu

回复 4# myworkstation


    文件读出来是正确的，设置终端为相应编码，可以显示中文，发送过去后就是乱码了。

yanjingtao

http://baike.baidu.com/view/204662.htm#2 看看这个

bikong0411

链接都是要进行urlencode的啊

myworkstation

回复 5# zxlkiyu


    你的说法有问题，中文链接其真正的链接都是经过编码的，你终端再怎么设置也不可能显示出中文来。比如说你的链接是这样“http://www.baidu.com/s?wd=%E4%B8%AD%E6%96%87”而不是这样“http://www.baidu.com/s?wd=中文”。我想你没有表达清楚你的问题。

folklore

你要读文件http头, 爱它用的什么编码。