免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 5231 | 回复: 1
打印 上一主题 下一主题

[数据库] 每日数据文件入库问题 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2015-12-01 17:11 |只看该作者 |倒序浏览
求助各位大哥,困扰我一阵子了这个问题
例如有张表tb_test,数据结构如下
card_id|card_number|status
123     |111111         |0
124     |222222         |1
125     |333333         |1
例如这种数据,有100列左右,行数是千万级别
全量数据我已经导入成功了
现在涉及到每天都会有一个文件过来,文件名为testYYYYMMDD.txt,以逗号分隔的数据,格式和表结构一样
如何将每日的新增数据入库(这涉及到新增的行入库,有状态变更的行则更新,例如新增文件有100行,80条新增入库,20条则将表中数据更新)
环境为linux中,写shell每日定时入库,要考虑到效率
听说oracle有个merge操作,但是我没有实例
希望高手可以帮助我,或者提供给我一个shell每日入库更新的例子,我研究一下,谢谢了!!!

论坛徽章:
0
2 [报告]
发表于 2015-12-03 05:34 |只看该作者
我的话,会考虑新建个stage表,然后把每日的内容全部倒入,写个存储过程,更新到实际的表中。确定完成后,清空stage表。
算是个笨办法。不确定效率如何。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP