实现商品比价问题

linux_kaige

各位好，发这问题，一直不知道发哪个版，感觉这个地方牛人多，就发这里了，不废话了，问题如下：
以返利网51fanli为例，如果实现商品比价？效果：

假设我要做这个网站，如何获取京东、当当网、一号店、易迅等电子商务网站的商品价格信息？是不是只能跟他们合作，然后通过接口品量获取？因为类似搜索引擎的蜘蛛是不能去抓取他们上面的商品信息的，所以很困惑，跪求各位大牛解答，最好是哪个哥们做过类似的项目，能给大概说下，谢谢！

akwhole

我只查看了当当的首页, 是静态页面,
所以你只需要把网页爬下来,  从里面 正则匹配 需要的信息就可以了.
如果是动态网页,就不好办了.   

可以参考perl的 LWP模块, python也有类似的.

yifangyou

可以使用php-curl或者直接使用linux下的curl可以把整个网站爬出来，注意设置user-agent，一般网站都会防止非法爬网页的。另外一般电商的价格都是图片或者ajax获取的，这个涉及到图像识别或者html分析了。
这种项目不太好做，我也就提供思路。

linux_kaige

回复 3# yifangyou


    谢谢！

wildlily980

我有比价网经验。主要就是抓取内容，分析获取价格。
思路就是这个，做起来就不那么简单了

liuxingyuyuni

不用抓，网站肯定会限制，由期你说的淘宝。

另外淘宝本身有提供商品的API，很多。同一网站的同类商品比价容易，如果你说各大不同网站的同类商品比价，这个有难度。

linux_kaige

回复 2# akwhole

谢谢，的确，如果是动态的，页面里面有嵌套、farme都不好办。