论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2017-12-24 17:44 |只看该作者 |倒序浏览

http://m.atobo.com.cn/Search?keyword=%s&Buy_Type=9&dck=true 要搜索爬取这网站内容 %s变成字母浏览器会显示搜索结果终端就不能显示因为跳转了网址
最主要%s变成汉字浏览器就会出现乱码求优化搜索串使搜索汉字时不会乱码并且终端能正常解析网址

文库|博客

REFRESHMM

白手起家

论坛徽章:: 0

2楼 [报告]

发表于 2017-12-27 23:29 |只看该作者

汉字转码gb2312 替换%s就好了现在是终端不能完全解析网页源代码导致不能爬取数据应该是curl参数或者是post提交问题网络大神帮解决下

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

REFRESHMM

白手起家

论坛徽章:: 0

3楼 [报告]

发表于 2017-12-31 12:31 |只看该作者

http://m.atobo.com.cn/Search?keyword=%ce%e4%ba%ba&Buy_Type=9&dck=true

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

REFRESHMM

白手起家

论坛徽章:: 0

4楼 [报告]

发表于 2017-12-31 12:35 |只看该作者

上面的链接如何在终端完整解析网络大神来解决问题

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

REFRESHMM

白手起家

论坛徽章:: 0

5楼 [报告]

发表于 2017-12-31 17:02 |只看该作者

%ce%e4%ba%ba 可以替换%s

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

REFRESHMM

白手起家

论坛徽章:: 0

6楼 [报告]

发表于 2017-12-31 22:26 |只看该作者

curl -d "keyword=武汉&Buy_Type=9&dck=true" "m.atobo.com.cn" 这样post提交也不行

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

1cpuer

腰缠万贯

论坛徽章:: 6

7楼 [报告]

发表于 2018-05-05 10:35 |只看该作者

本帖最后由 1cpuer 于 2018-05-05 10:46 编辑

回复 5# REFRESHMM

%ce%e4%ba%ba
echo "\xce\xe4\xba\xba"
[0-9 a-f]
[0-f]
http 定义了 1 编码 #详情未知
理论支持中文（包括）其他
http://www.淘宝.com
测试..
意为支持中文搜索

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › 程序设计 › Shell › shell curl爬虫问题

[网络相关] shell curl爬虫问题 [复制链接]

浏览过的版块