【青岛招聘】网络爬虫及数据平台高级开发工程师

cathaydigital

【青岛招聘】网络爬虫及数据平台高级开发工程师

岗位职责：
对指定的多个网站的网页进行网页抓取、数据提取；
负责特殊网页采集任务的分析及采集方案设计；
参与爬虫架构设计和研发，满足产品中数据抓取的要求；
参与爬虫核心算法和策略优化研究；
抓取调度和策略优化，实时监控爬虫的进度和警报反馈；
爬虫核心系统, 数据平台的研发维护。

要求：
本科及以上学历，计算机相关专业；
具有数据挖掘、信息检索、机器学习开发经验；
精通HTML语言，熟悉JS，Ajax，熟悉Lucene、Nutch、Heritrix、larbin、HtmlParse、Scrapy、Crawler4j、WebMagic、WebCollector等开源工具；
精通网页抓取原理及技术，从结构化的和非结构化的数据中获取信息；
熟练使用一门以上脚本语言(PHP/PYTHON/JAVA/Node.js/SQL 等)；
熟练Hadoop大数据平台的核心框架 (HDFS, Pig, Hive, Sqoop, oozie, Zookeeper, Spark, Storm, Kafka 等)；
精通网络编程，熟悉HTTP传输协议，能模拟浏览器操作爬虫；
具备web挖掘等搜索引擎相关知识，有从事网络爬虫、网页去重、网页信息抽取的经验。
以解决技术难题为乐，对程序完美有偏执追求；具有团队精神，有想法，敢于挑战自我。


公司简介：
我们是一家年轻的科技公司，跨国经营，崇尚创新，坚持高效。
期待您的加入：qingdao@cathaydigital.com

简历请走邮箱，备注来自ChinaUnix，谢谢。

cathaydigital

签到来一发，up

cathaydigital

签到来一发，up