免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Shell › 每日数据入库问题

最近访问板块

发新帖

查看: 1180 | 回复: 2

上一主题

下一主题

[其他] 每日数据入库问题 [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2015-12-01 17:12 |只看该作者 |倒序浏览

求助各位大哥，困扰我一阵子了这个问题
例如有张表tb_test,数据结构如下
card_id|card_number|status
123    |111111       |0
124    |222222       |1
125    |333333       |1
例如这种数据，有100列左右，行数是千万级别
全量数据我已经导入成功了
现在涉及到每天都会有一个文件过来，文件名为testYYYYMMDD.txt,以逗号分隔的数据，格式和表结构一样
如何将每日的新增数据入库（这涉及到新增的行入库，有状态变更的行则更新,例如新增文件有100行，80条新增入库，20条则将表中数据更新）
环境为linux中，写shell每日定时入库，要考虑到效率
听说oracle有个merge操作，但是我没有实例
希望高手可以帮助我，或者提供给我一个shell每日入库更新的例子，我研究一下，谢谢了！！！

文库|博客

论坛徽章:: 1

程序设计版块每日发帖之星
日期:2015-12-17 06:20:00

2楼 [报告]

发表于 2015-12-08 14:12 |只看该作者

问题不复杂，关键在判断数据是更新还是插入，原表数据量大，判断过程要考虑率效率问题。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 84

每日论坛发贴之星
日期:2015-12-29 06:20:00

每日论坛发贴之星
日期:2016-01-16 06:20:00

每周论坛发贴之星
日期:2016-01-17 22:22:00

程序设计版块每日发帖之星
日期:2016-01-20 06:20:00

每日论坛发贴之星
日期:2016-01-20 06:20:00

程序设计版块每日发帖之星
日期:2016-01-21 06:20:00

每日论坛发贴之星
日期:2016-01-21 06:20:00

程序设计版块每日发帖之星
日期:2016-01-23 06:20:00

程序设计版块每日发帖之星
日期:2016-01-31 06:20:00

数据库技术版块每日发帖之星
日期:2016-01-16 06:20:00

程序设计版块每日发帖之星
日期:2016-01-16 06:20:00

程序设计版块每日发帖之星
日期:2016-01-14 06:20:00

3楼 [报告]

发表于 2015-12-09 19:53 |只看该作者

这个主要是写SQL语句，去数据库板块问问吧

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Shell › 每日数据入库问题

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP