免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1331 | 回复: 2
打印 上一主题 下一主题

抽取数据 集思广益 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2012-05-10 16:37 |只看该作者 |倒序浏览

数据抽数(数据库oracle mysql sqlserver)
例如emp中有100W的数据,用python 抽取所有的数据并生成文本,但是emp有新数据入库时,这样一来,我如何不间断的抽取数据?数据库中又有什么方法可以借用呢?(由于数据量很大,在处理时不能使用count(1)来判断数据量的大小)
例如
py抽取100条数据时,这时有10条新数据入库,如何把这10条也抽取到?谢谢M

论坛徽章:
0
2 [报告]
发表于 2012-05-10 17:36 |只看该作者
可以自己写个程序来测一下看看
一个程序不断的insert,另一个程序不断的fetchmany()固定数量的记录,看看新插入的数据能不能取到。
两个程序总共几十行就能搞定了吧

论坛徽章:
0
3 [报告]
发表于 2012-05-14 23:17 |只看该作者
实在不行你就记游标位置,你的表应该会有一个自增ID的吧,用这个递增读取。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP