免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 8642 | 回复: 0

[Spark] 企业征信方案分享 [复制链接]

论坛徽章:
0
发表于 2017-02-07 10:23 |显示全部楼层
本帖最后由 chinazwh2000 于 2017-02-07 10:24 编辑

----专业大数据运维培训服务平台

企业征信解决方案

行业:企业征信

解决方案:征信数据的清洗和整理

关键词:数据量大,高速计算


项目背景:原有oracle数据库计算性能不足速度过慢,无法满足业务需求


某征信公司未来想要处理的业务有数据调用、B/S 网页系统查询、VPN客户端查询及标准格式化报告查询下载等,在数据库计算已出现瓶颈时再来满足业务对数据的调用,目前数据库是无法快速满足这些条件。


精准数源根据客户需求把目前所应用在Oracle数据库上计算功能移植到ADH集群上。


解决方案
Bemore(碧茂hadoop平台)移植后的总体框架图,如下图所示

                              

征信公司解决方案的原则是:统一规划,高可用性,高效率性;平稳过渡,最大限度降低业务影响;

确保计算程序所需数据迁移的完整性,稳定性和高效率性;

确保清洗计算程序在移植至ADH集群后的完整性;

确保计算程序的运行速度远远大于原有数据的运行速度。


方案亮点

整个以“在高效提升业务数据计算程序速度的基础大幅度减小对业务流程的影响”为目标;

在计算程序搬迁前期进行全方位具体需求调查,细致入微的各项准备工作,包括人员安排,预估数据导入所需时间,及计算程序的编译和测试;


客户受益

帮助客户按照计划顺利,解决目前征信业务所遇到的瓶颈;

帮助客户实现了计算程序速度过慢的问题,速度从原有的4个小时提升为2分钟;

sK.jpg
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

数据风云,十年变迁
DTCC 第十届中国数据库技术大会已启航!

2019年5月8日~5月10日,由IT168旗下ITPUB企业社区平台主办的第十届中国数据库技术大会(DTCC2019),将在北京隆重召开。大会将邀请百余位行业专家,就热点技术话题进行分享,是广大数据领域从业人士的又一次年度盛会和交流平台。与SACC2018类似,本届大会将采用“3+2”模式:3天传统技术演讲+2天深度主题培训。大会不仅提供超100场的主题演讲,还会提供连续2天的深度课程培训,深化数据领域的项目落地实践方案。
DTCC2019,一场值得期待的数据技术盛会,殷切地希望您报名参与!

活动入口>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP