免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 2541 | 回复: 20
打印 上一主题 下一主题

[文本处理] 关于行全并,求大神 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2017-01-15 10:01 |只看该作者 |倒序浏览
INSERT INTO `phone_area_new` VALUES ('1770854', '贵州省', '贵州都匀', '都匀');
INSERT INTO `phone_area_new` VALUES ('1810051', '安徽省', '安徽合肥', '合肥');
INSERT INTO `phone_area_new` VALUES ('1709809', '浙江省', '浙江杭州市', '杭州');
INSERT INTO `phone_area_new` VALUES ('1837735', '广西壮族自治区', '广西壮族自治区', '桂林');
INSERT INTO `phone_area_new` VALUES ('1850747', '湖南省', '湖南衡阳', '衡阳');
…………………………
INSERT INTO `phone_area_new` VALUES ('1822335', '重庆市', '重庆市-重庆', '重庆');
INSERT INTO `phone_area_new` VALUES ('1822338', '重庆市', '重庆市-重庆', '重庆');
INSERT INTO `phone_area_new` VALUES ('1822341', '重庆市', '重庆市-重庆', '重庆');
这种数据大概有20多万条,每隔100条合并为一条如下。
INSERT INTO `phone_area_new` VALUES ('1770854', '贵州省', '贵州都匀', '都匀'), ('1810051', '安徽省', '安徽合肥', '合肥'),('1709809', '浙江省', '浙江杭州市', '杭州'),('1837735', '广西壮族自治区', '广西壮族自治区', '桂林'),('1850747', '湖南省', '湖南衡阳', '衡阳')......

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
2 [报告]
发表于 2017-01-15 10:26 |只看该作者
本帖最后由 moperyblue 于 2017-01-15 13:31 编辑
  1. sed ':a;N;s/;\r\?\n[^(]*/,/;0~100!ba' sql.txt
复制代码

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
3 [报告]
发表于 2017-01-15 10:57 |只看该作者
本帖最后由 sunzhiguolu 于 2017-01-15 11:00 编辑
  1. perl -nle 'BEGIN{$H=q(INSERT INTO `phone_area_new` )}{($v)=/(VALUES[^;]*)/;next if(push(@aT,$v)!=100);print $H,join(",",splice(@aT,0))}' f
复制代码

论坛徽章:
0
4 [报告]
发表于 2017-01-15 11:19 |只看该作者
回复 2# moperyblue

谢大神,但是实现不了

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
5 [报告]
发表于 2017-01-15 11:26 |只看该作者
本帖最后由 moperyblue 于 2017-01-15 13:32 编辑

回复 4# shawnloong

more file
  1. INSERT INTO `phone_area_new` VALUES ('1770854', '贵州省', '贵州都匀', '都匀');
  2. INSERT INTO `phone_area_new` VALUES ('1810051', '安徽省', '安徽合肥', '合肥');
  3. INSERT INTO `phone_area_new` VALUES ('1709809', '浙江省', '浙江杭州市', '杭州');
  4. INSERT INTO `phone_area_new` VALUES ('1837735', '广西壮族自治区', '广西壮族自治区', '桂林');
  5. INSERT INTO `phone_area_new` VALUES ('1850747', '湖南省', '湖南衡阳', '衡阳');
  6. INSERT INTO `phone_area_new` VALUES ('1822335', '重庆市', '重庆市-重庆', '重庆');
  7. INSERT INTO `phone_area_new` VALUES ('1822338', '重庆市', '重庆市-重庆', '重庆');
  8. INSERT INTO `phone_area_new` VALUES ('1822341', '重庆市', '重庆市-重庆', '重庆');
复制代码

sed ':a;N;s/;\r\?\n[^(]*/,/;0~2!ba' file
  1. INSERT INTO `phone_area_new` VALUES ('1770854', '贵州省', '贵州都匀', '都匀'),('1810051', '安徽省', '安徽合肥', '合肥');
  2. INSERT INTO `phone_area_new` VALUES ('1709809', '浙江省', '浙江杭州市', '杭州'),('1837735', '广西壮族自治区', '广西壮族自治区', '桂林');
  3. INSERT INTO `phone_area_new` VALUES ('1850747', '湖南省', '湖南衡阳', '衡阳'),('1822335', '重庆市', '重庆市-重庆', '重庆');
  4. INSERT INTO `phone_area_new` VALUES ('1822338', '重庆市', '重庆市-重庆', '重庆'),('1822341', '重庆市', '重庆市-重庆', '重庆');
复制代码

论坛徽章:
0
6 [报告]
发表于 2017-01-15 11:29 |只看该作者
回复 3# sunzhiguolu

多了values了,一行有多个values

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
7 [报告]
发表于 2017-01-15 11:43 |只看该作者

  1. dos2unix file
复制代码

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
8 [报告]
发表于 2017-01-15 11:48 |只看该作者

  1. sed ':a;N;s/;\r\?\n[^(]*/,/;0~100!ba'
复制代码

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
9 [报告]
发表于 2017-01-15 11:49 |只看该作者
回复 6# shawnloong
  1. perl -nle 'BEGIN{$H=q(INSERT INTO `phone_area_new` VALUES )}{($v)=/VALUES\s*([^;]*)/;next if(push(@aT,$v)!=100);print $H,join(",",splice(@aT,0))}' f
复制代码



论坛徽章:
0
10 [报告]
发表于 2017-01-15 13:00 |只看该作者
回复 9# sunzhiguolu

行末少了;(分号)了
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP