忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 徽章 文库 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 2509 | 回复: 0

[Spark] 企业征信方案分享 [复制链接]

论坛徽章:
0
发表于 2017-02-07 10:23 |显示全部楼层
本帖最后由 chinazwh2000 于 2017-02-07 10:24 编辑

----专业大数据运维培训服务平台

企业征信解决方案

行业:企业征信

解决方案:征信数据的清洗和整理

关键词:数据量大,高速计算


项目背景:原有oracle数据库计算性能不足速度过慢,无法满足业务需求


某征信公司未来想要处理的业务有数据调用、B/S 网页系统查询、VPN客户端查询及标准格式化报告查询下载等,在数据库计算已出现瓶颈时再来满足业务对数据的调用,目前数据库是无法快速满足这些条件。


精准数源根据客户需求把目前所应用在Oracle数据库上计算功能移植到ADH集群上。


解决方案
Bemore(碧茂hadoop平台)移植后的总体框架图,如下图所示

                              

征信公司解决方案的原则是:统一规划,高可用性,高效率性;平稳过渡,最大限度降低业务影响;

确保计算程序所需数据迁移的完整性,稳定性和高效率性;

确保清洗计算程序在移植至ADH集群后的完整性;

确保计算程序的运行速度远远大于原有数据的运行速度。


方案亮点

整个以“在高效提升业务数据计算程序速度的基础大幅度减小对业务流程的影响”为目标;

在计算程序搬迁前期进行全方位具体需求调查,细致入微的各项准备工作,包括人员安排,预估数据导入所需时间,及计算程序的编译和测试;


客户受益

帮助客户按照计划顺利,解决目前征信业务所遇到的瓶颈;

帮助客户实现了计算程序速度过慢的问题,速度从原有的4个小时提升为2分钟;

sK.jpg
您需要登录后才可以回帖 登录 | 注册

本版积分规则

DTCC2018购票6.8折优惠进行时

中国数据库技术大会是国内数据库及大数据领域规模最大、最受欢迎的技术交流盛会。 2018年5月10-12日,第九届中国数据库技术大会将如约而至。本届大会以“数领先机•智赢未来”为主题,设定2大主会场及20个技术专场,邀请来自国内外互联网、金融、教育等行业百余位技术专家,共同探讨Oracle、MySQL、NoSQL、大数据等领域的前瞻性热点话题与技术。
----------------------------------------
优惠时间:2018年2月13日前

报名链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP