忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
123下一页
最近访问板块 发新帖
查看: 58570 | 回复: 25

[文本处理] 一个超大sqlite(两千多万行)按行数分割到指定文件夹下,能实现吗? [复制链接]

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 09:01 |显示全部楼层
一个超大sqlite(x.db3)有两千多万行,按行数(譬如10万行)分割到指定文件夹下(文件夹路径放在a.txt中),分割后放在指定文件夹下的文件名统一为x.db3,如果原文件夹下有相同文件名直接覆盖,请大神看看能否实现?
如果需要测试数据,回复后放入网盘。

论坛徽章:
27
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-08-19 10:04 |显示全部楼层
回复 1# wenjun3000


    将分割后的文件(如10万行记录)都以x.db3为名 放入a.txt中指定的目录吗?

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 10:12 |显示全部楼层
回复 2# moperyblue


是的  

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 10:12 |显示全部楼层
a.txt中指定的目录下有相同文件名的文件x.db3直接覆盖

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 11:06 |显示全部楼层
回复 3# wenjun3000


a.txt中指定的文件目录路径中有中文,譬如a.txt中有如下路径
d:\xxx\北京
d:\xxx\南京
d:\xxx\上海
d:\xxx\重庆
d:\xxx\成都
等等

论坛徽章:
27
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-08-19 11:19 |显示全部楼层
回复 5# wenjun3000


    分割出来的文件数与a.txt中的目录数一样吗?

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 12:33 |显示全部楼层
回复 6# moperyblue


是的

论坛徽章:
27
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-08-19 14:00 |显示全部楼层
本帖最后由 moperyblue 于 2016-08-19 14:02 编辑

回复 7# wenjun3000


    是类似这样吗? 如: x000......xnnn这些是分割出来的文件.

是不是以下的过程?
x000 => x.db3 => d:\xxx\北京
x001 => x.db3 => d:\xxx\南京
x002 => x.db3 => d:\xxx\上海
x003 => x.db3 => d:\xxx\重庆
x004 => x.db3 => d:\xxx\成都
...


另, 顺序有要求吗? 如: 从原始文件分割出来的第一个文件(x000)能放到 南京,上海... 这些任一目录下吗?

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-19 14:24 |显示全部楼层
回复 8# moperyblue


是的,第一份数据分到a.txt中第一行的文件路径下覆盖
第二份数据分到a.txt中第二行的文件路径下覆盖  
第三份数据分到a.txt中第三行的文件路径下覆盖  
以此类推

论坛徽章:
115
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07巳蛇
日期:2014-05-09 16:43:18巨蟹座
日期:2014-10-23 17:48:38子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59
发表于 2016-08-19 15:06 |显示全部楼层
回复 1# wenjun3000

$ cat a.txt
xx1
xx2
xx3

$ cat FILE
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

$ awk -vline=5 'function nf(){getline p < "a.txt";system("mkdir -p "p);f=p"/x.db3";print "file:"f}NR%line==1{nf()}{print > f}' FILE
file:xx1/x.db3
file:xx2/x.db3
file:xx3/x.db3


$ grep . xx*/x.db3
xx1/x.db3:1
xx1/x.db3:2
xx1/x.db3:3
xx1/x.db3:4
xx1/x.db3:5
xx2/x.db3:6
xx2/x.db3:7
xx2/x.db3:8
xx2/x.db3:9
xx2/x.db3:10
xx3/x.db3:11
xx3/x.db3:12
xx3/x.db3:13
xx3/x.db3:14
xx3/x.db3:15

   
您需要登录后才可以回帖 登录 | 注册

本版积分规则

10张SACC2017门票等你来拿~

在数字化转型时代,云已成为万物智能的数字化大脑。而随着大数据应用、人工智能、移动互联网等技术的飞速发展,“智慧 +” 的概念正在深入到各行各业,提升企业效率,释放商业潜能,创造全新机遇。作为国内顶级技术盛会之一,2017 中国系统架构师大会(SACC2017)将于 10 月 19-21 日在北京新云南皇冠假日酒店震撼来袭。今年,大会以 “云智未来” 为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置 2 大主会场,18 个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100 余位技术专家及行业领袖来分享他们的经验;并将吸引 4000 + 人次的系统运维、架构师及 IT 决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年10月19日前

活动链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP