忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
123下一页
最近访问板块 发新帖
查看: 55465 | 回复: 25

[文本处理] 一个超大sqlite(两千多万行)按行数分割到指定文件夹下,能实现吗? [复制链接]

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 09:01 |显示全部楼层
一个超大sqlite(x.db3)有两千多万行,按行数(譬如10万行)分割到指定文件夹下(文件夹路径放在a.txt中),分割后放在指定文件夹下的文件名统一为x.db3,如果原文件夹下有相同文件名直接覆盖,请大神看看能否实现?
如果需要测试数据,回复后放入网盘。

论坛徽章:
26
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之青岛
日期:2016-11-26 17:00:4615-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:54
发表于 2016-08-19 10:04 |显示全部楼层
回复 1# wenjun3000


    将分割后的文件(如10万行记录)都以x.db3为名 放入a.txt中指定的目录吗?

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 10:12 |显示全部楼层
回复 2# moperyblue


是的  

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 10:12 |显示全部楼层
a.txt中指定的目录下有相同文件名的文件x.db3直接覆盖

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 11:06 |显示全部楼层
回复 3# wenjun3000


a.txt中指定的文件目录路径中有中文,譬如a.txt中有如下路径
d:\xxx\北京
d:\xxx\南京
d:\xxx\上海
d:\xxx\重庆
d:\xxx\成都
等等

论坛徽章:
26
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之青岛
日期:2016-11-26 17:00:4615-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:54
发表于 2016-08-19 11:19 |显示全部楼层
回复 5# wenjun3000


    分割出来的文件数与a.txt中的目录数一样吗?

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 12:33 |显示全部楼层
回复 6# moperyblue


是的

论坛徽章:
26
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之青岛
日期:2016-11-26 17:00:4615-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:54
发表于 2016-08-19 14:00 |显示全部楼层
本帖最后由 moperyblue 于 2016-08-19 14:02 编辑

回复 7# wenjun3000


    是类似这样吗? 如: x000......xnnn这些是分割出来的文件.

是不是以下的过程?
x000 => x.db3 => d:\xxx\北京
x001 => x.db3 => d:\xxx\南京
x002 => x.db3 => d:\xxx\上海
x003 => x.db3 => d:\xxx\重庆
x004 => x.db3 => d:\xxx\成都
...


另, 顺序有要求吗? 如: 从原始文件分割出来的第一个文件(x000)能放到 南京,上海... 这些任一目录下吗?

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 14:24 |显示全部楼层
回复 8# moperyblue


是的,第一份数据分到a.txt中第一行的文件路径下覆盖
第二份数据分到a.txt中第二行的文件路径下覆盖  
第三份数据分到a.txt中第三行的文件路径下覆盖  
以此类推

论坛徽章:
108
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07巳蛇
日期:2014-05-09 16:43:18巨蟹座
日期:2014-10-23 17:48:38子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59
发表于 2016-08-19 15:06 |显示全部楼层
回复 1# wenjun3000

$ cat a.txt
xx1
xx2
xx3

$ cat FILE
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

$ awk -vline=5 'function nf(){getline p < "a.txt";system("mkdir -p "p);f=p"/x.db3";print "file:"f}NR%line==1{nf()}{print > f}' FILE
file:xx1/x.db3
file:xx2/x.db3
file:xx3/x.db3


$ grep . xx*/x.db3
xx1/x.db3:1
xx1/x.db3:2
xx1/x.db3:3
xx1/x.db3:4
xx1/x.db3:5
xx2/x.db3:6
xx2/x.db3:7
xx2/x.db3:8
xx2/x.db3:9
xx2/x.db3:10
xx3/x.db3:11
xx3/x.db3:12
xx3/x.db3:13
xx3/x.db3:14
xx3/x.db3:15

   
您需要登录后才可以回帖 登录 | 注册

本版积分规则

【有奖调查】AI时代如何迎接未知挑战?

人工智能一直在医疗行业扮演着重要角色,最早的专家系统和后来的基因诊断都是人工智能技术在医疗的行业探索。近年来,随着深度学习等技术的进步,人工智能在医疗行业的应用领域不断扩展,医学影像智能诊断、语音电子病历、癌症智能诊断等均已逐渐成为热门发展方向。
而作为人工智能重要推动力的深度学习技术的快速发展却亟需认知系统的强力支撑。
----------------------------------------
活动时间:2017年5月15日-6月5日

调查入口>>
  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP