免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 4480 | 回复: 11

[C] 帮忙做一个爬虫程序,如果花了您很多时间,作为补偿,我付给您钱,烟,酒。 [复制链接]

论坛徽章:
0
发表于 2015-10-28 19:13 |显示全部楼层
我想做一个爬虫软件,请人帮忙做一个爬虫程序,如果花了您很多时间,作为补偿,我付给您钱,烟,酒。有人愿意帮我吗?

论坛徽章:
59
2015年亚洲杯之约旦
日期:2015-01-27 21:27:392015年亚洲杯之日本
日期:2015-02-06 22:09:41拜羊年徽章
日期:2015-03-03 16:15:432015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015元宵节徽章
日期:2015-03-06 15:50:392015年亚洲杯之阿联酋
日期:2015-03-19 17:39:302015年亚洲杯之中国
日期:2015-03-23 18:52:23巳蛇
日期:2014-12-14 22:44:03双子座
日期:2014-12-10 21:39:16处女座
日期:2014-12-02 08:03:17天蝎座
日期:2014-07-21 19:08:47
发表于 2015-10-28 19:27 |显示全部楼层
多少钱啊

论坛徽章:
9
程序设计版块每日发帖之星
日期:2015-10-18 06:20:00程序设计版块每日发帖之星
日期:2015-11-01 06:20:00程序设计版块每日发帖之星
日期:2015-11-02 06:20:00每日论坛发贴之星
日期:2015-11-02 06:20:00程序设计版块每日发帖之星
日期:2015-11-03 06:20:00程序设计版块每日发帖之星
日期:2015-11-04 06:20:00程序设计版块每日发帖之星
日期:2015-11-06 06:20:00数据库技术版块每周发帖之星
日期:2015-12-02 15:02:47数据库技术版块每日发帖之星
日期:2015-12-08 06:20:00
发表于 2015-10-28 19:41 |显示全部楼层
本帖最后由 wlmqgzm 于 2015-10-28 19:43 编辑

爬虫软件, 主要看应用规模, 性能要求.  内部有很多细节的, 还有跟其他模块的接口.  
语言: C ?   C++?  PHP?  ..............
内部的参数就更多了, 是否支持 gzip等压缩格式, 提高带宽利用率,
异步IO是起码的吧, 同步代码实现异步IO, 或者 异步事件编程, 多线程, ????
是否 支持cookie, session等动态网页, 还是仅仅静态网页,
网页Follow 方式, 是否支持 三种禁止follow的设置
对存贮的解决, 压缩存储? 数据层接口?
取数据的速率, 响应时间, .......多个爬虫执行过程中的得到的动态变量, 是否存??
对多语言网页的识别和编码统一转换.....
网页免重复抓的方式?????
友善的爬虫, 每网站IP只允许一个爬虫, 每次间隔10秒种,  
.....................

总之, 真正做过爬虫, 或者有做爬虫代码的知识的, 就知道, 完善的爬虫代码意味着什么?   

呵呵呵, 我也没有做过C/C++代码的爬虫.   不过知道怎么做爬虫代码.....

我是老IT了

论坛徽章:
0
发表于 2015-10-28 22:02 |显示全部楼层
回复 3# wlmqgzm
加了好友还是没有权限发短消息

   

论坛徽章:
0
发表于 2015-10-28 22:05 |显示全部楼层
回复 2# folklore
能加QQ私聊吗?

   

论坛徽章:
0
发表于 2015-10-28 22:15 |显示全部楼层
回复 2# folklore
能加QQ私聊吗?

   

论坛徽章:
9
程序设计版块每日发帖之星
日期:2015-10-18 06:20:00程序设计版块每日发帖之星
日期:2015-11-01 06:20:00程序设计版块每日发帖之星
日期:2015-11-02 06:20:00每日论坛发贴之星
日期:2015-11-02 06:20:00程序设计版块每日发帖之星
日期:2015-11-03 06:20:00程序设计版块每日发帖之星
日期:2015-11-04 06:20:00程序设计版块每日发帖之星
日期:2015-11-06 06:20:00数据库技术版块每周发帖之星
日期:2015-12-02 15:02:47数据库技术版块每日发帖之星
日期:2015-12-08 06:20:00
发表于 2015-10-28 22:17 |显示全部楼层
你的需求介绍太简单, 谁也没法确认, 这个项目是要干啥,
没有需求说明书, 没有更详细的说明,  没有人会帮你做这种无厘头的东西.
任何一个项目都是有一个详细说明的,  你不写的话, 也不会有人替你写,  自己的事情, 自己得多做.  

论坛徽章:
0
发表于 2015-10-28 22:22 |显示全部楼层
回复 7# wlmqgzm
加我qq好吗?2605180586

   

论坛徽章:
9
程序设计版块每日发帖之星
日期:2015-10-18 06:20:00程序设计版块每日发帖之星
日期:2015-11-01 06:20:00程序设计版块每日发帖之星
日期:2015-11-02 06:20:00每日论坛发贴之星
日期:2015-11-02 06:20:00程序设计版块每日发帖之星
日期:2015-11-03 06:20:00程序设计版块每日发帖之星
日期:2015-11-04 06:20:00程序设计版块每日发帖之星
日期:2015-11-06 06:20:00数据库技术版块每周发帖之星
日期:2015-12-02 15:02:47数据库技术版块每日发帖之星
日期:2015-12-08 06:20:00
发表于 2015-10-28 22:40 |显示全部楼层
本帖最后由 wlmqgzm 于 2015-10-28 22:43 编辑

回复 8# zyzyzpy


linux下没有QQ软件, 加不了, 最近以及今后很长一段时间里, 都在linux下做开发, 不上QQ,

这个是正在做的, 好多代码量, 技术超难, 可能也没有时间做爬虫,

ASIO 无锁, 高并发,高可靠网络架构, 抗DOS, 自修复协议栈, 奔腾双核CPU32.5万QPS ECHO

http://bbs.chinaunix.net/thread-4189684-1-1.html

论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
发表于 2015-10-29 19:22 |显示全部楼层
回复 1# zyzyzpy


    http://scrapy.org,python的
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP