免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 9958 | 回复: 6

实现商品比价问题 [复制链接]

论坛徽章:
0
发表于 2013-09-18 09:09 |显示全部楼层
各位好,发这问题,一直不知道发哪个版,感觉这个地方牛人多,就发这里了,不废话了,问题如下:
以返利网51fanli为例,如果实现商品比价?效果:
手机比价.png
假设我要做这个网站,如何获取京东、当当网、一号店、易迅等电子商务网站的商品价格信息?是不是只能跟他们合作,然后通过接口品量获取?因为类似搜索引擎的蜘蛛是不能去抓取他们上面的商品信息的,所以很困惑,跪求各位大牛解答,最好是哪个哥们做过类似的项目,能给大概说下,谢谢!

论坛徽章:
0
发表于 2013-09-19 22:10 |显示全部楼层
我只查看了当当的首页, 是静态页面,
所以你只需要把网页爬下来,  从里面 正则匹配 需要的信息就可以了.
如果是动态网页,就不好办了.   

可以参考perl的 LWP模块, python也有类似的.

论坛徽章:
27
CU大牛徽章
日期:2013-03-13 15:15:08CU大牛徽章
日期:2013-05-20 10:46:38CU大牛徽章
日期:2013-05-20 10:46:44CU大牛徽章
日期:2013-09-18 15:24:09CU大牛徽章
日期:2013-09-18 15:24:20CU大牛徽章
日期:2013-09-18 15:24:25CU大牛徽章
日期:2013-09-18 15:24:31CU大牛徽章
日期:2013-09-18 15:24:36CU大牛徽章
日期:2013-09-18 15:24:41CU大牛徽章
日期:2013-09-18 15:24:48CU大牛徽章
日期:2013-09-18 15:24:52处女座
日期:2013-09-27 17:45:43
发表于 2013-09-20 16:53 |显示全部楼层
可以使用php-curl或者直接使用linux下的curl可以把整个网站爬出来,注意设置user-agent,一般网站都会防止非法爬网页的。另外一般电商的价格都是图片或者ajax获取的,这个涉及到图像识别或者html分析了。
这种项目不太好做,我也就提供思路。

论坛徽章:
0
发表于 2013-10-09 15:19 |显示全部楼层
回复 3# yifangyou


    谢谢!

论坛徽章:
0
发表于 2013-10-09 22:40 |显示全部楼层
本帖最后由 wildlily980 于 2013-10-09 22:40 编辑

我有比价网经验。主要就是抓取内容,分析获取价格。
思路就是这个,做起来就不那么简单了

论坛徽章:
0
发表于 2013-10-16 10:14 |显示全部楼层
本帖最后由 liuxingyuyuni 于 2013-10-16 10:14 编辑

不用抓,网站肯定会限制,由期你说的淘宝。

另外淘宝本身有提供商品的API,很多。同一网站的同类商品比价容易,如果你说各大不同网站的同类商品比价,这个有难度。

论坛徽章:
0
发表于 2013-11-13 16:50 |显示全部楼层
回复 2# akwhole

谢谢,的确,如果是动态的,页面里面有嵌套、farme都不好办。
   
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP