Chinaunix

标题: 【微学堂】第51期|百度外卖大数据技术分享—大数据分布式调度系统 [打印本页]

作者: yejia80550708 时间: 2017-11-01 12:26
标题: 【微学堂】第51期|百度外卖大数据技术分享—大数据分布式调度系统
在当下快节奏的社会中，人们依然追求高品质的生活，外卖行业的用户群体已经迅速扩大，有数据预测2020年外卖用户规模将达到6亿。根据不同的用户需求和场景进行匹配，正是依靠大数据技术来完成，大数据技术已经成为外卖平台的硬实力。
百度外卖自正式推出以来，通过深耕大数据技术，迅速在白领外卖市场占领高地。百度外卖的大数据研发部门不仅为平台的业务开发、运营分析和战略分析提供了高效、可靠的数据产品服务，也为平台品质和用户体验的提升提供了支撑和保障。

IT168微学堂携手百度外卖大数据研发部7位技术实力干将，为爱学习的你，奉上一场大数据技术盛宴。

分享主题：大数据分布式调度系统

分享时间：2017年11月2日（周四）20:00

特邀讲师：段炜百度外卖大数据架构高级研发工程师

2012年本科毕业于吉林大学软件工程专业，就职当当网，负责订单系统的相关研发工作，着重大量级订单数据分布式并行处理技术，解决并优化了相关性能问题，同时也对大数据架构及分布式系统产生了浓厚兴趣并进行了深入研究。2016年加入百度外卖大数据研发部，现任职架构高级研发工程师，负责一系列大数据基础架构及系统的设计、研发工作，协助ETL及OLAP进行例行生产及数据交付，并致力于HADOOP生态的研究及维护、大数据存储及查询引擎的二次开发及优化。

分享内容：
介绍针对于大数据领域数据生产及交付所设计研发的系统级应用--大数据分布式调度系统。区别于其他的调度系统，本系统根据大数据场景调度、分配、执行及周边流程的差异化，进行了深度的优化设计，并结合内部大数据生产规范，实现出具有分类型、多触发、策略调起、血缘依赖等特点的调度系统；在扩展性方面，通过分布式部署解决系统压力问题，对接到其他系统进行内部生态的构建，助力整个大数据体系的高效运转。

主要技术点：可依赖的任务调度，细粒度ETL生产实现，负载均衡及故障恢复

面向人群：数据仓库管理员、数据分析师、数据平台开发及使用者

约课方式：
微信扫描二维码报名课程（免费）。关注“千聊”公众号——报名成功——我的——个人中心——关注的直播间

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)