免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 4313 | 回复: 8
打印 上一主题 下一主题

[文本处理] 替换excel文件中转换成CSV后遗留的回车换行符号 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2013-12-11 13:54 |只看该作者 |倒序浏览
RT, excel文件中包含了软回车,转换成csv后有存在软回车,导致形成多行,并用" 包含,数据如下

Prctnr Cnum Id,Asgnmt Id,Strt Dt,End Dt,Cre T,Asgnmt Catgry Cd,Project Name,Client Name,Rem Stat Txt
060069672,"10,636,278.",10/08/13,11/30/13,09/25/13 03:09 AM,BIL,"255U-1B2M74J, ICBC PF,C.02420.002",ICBC,
060069672,"10,846,782.",11/14/13,12/13/13,11/13/13 04:07 AM,BIL,"WM-FZUCP74, ICBC PF PCR",INDUSTRIAL AND COMMERCIAL BANK OF,"C.02420.004, WM-FZUCP74,ICBC PF PCR
ICBC PF PCR
OS fulfilled and closed"
060112672,"10,135,402.",05/06/13,12/31/13,05/20/13 10:10 AM,PIL,CIS Prototype development,YOKOHAMA CITY UNIVERSITY HOSPITAL,CN-13-04243



有高手能用sed 处理一下 ,去掉这个软回车,目标格式如下:

Prctnr Cnum Id,Asgnmt Id,Strt Dt,End Dt,Cre T,Asgnmt Catgry Cd,Project Name,Client Name,Rem Stat Txt
060069672,"10,636,278.",10/08/13,11/30/13,09/25/13 03:09 AM,BIL,"255U-1B2M74J, ICBC PF,C.02420.002",ICBC,
060069672,"10,846,782.",11/14/13,12/13/13,11/13/13 04:07 AM,BIL,"WM-FZUCP74, ICBC PF PCR",INDUSTRIAL AND COMMERCIAL BANK OF,"C.02420.004, WM-FZUCP74,ICBC PF PCR ICBC PF PCR  OS fulfilled and closed"
060112672,"10,135,402.",05/06/13,12/31/13,05/20/13 10:10 AM,PIL,CIS Prototype development,YOKOHAMA CITY UNIVERSITY HOSPITAL,CN-13-04243

总共合并为4行, 第一行是prc开头的column name,  下面3行是数据

论坛徽章:
1
2015年迎新春徽章
日期:2015-03-04 09:58:11
2 [报告]
发表于 2013-12-11 14:06 |只看该作者
  1. dos2unix filename
复制代码

论坛徽章:
0
3 [报告]
发表于 2013-12-11 14:10 |只看该作者
回复 2# 这个冬天不冷

这样不能合并行吧。




   

论坛徽章:
0
4 [报告]
发表于 2013-12-11 14:26 |只看该作者
sed 'N;s/\n/:/g' filename    (这个命令只会处理每2行之间的换行,比如1和2, 3和4, 但是2和3之间就没处理)

但是加上标签

sed ':a;N;s/\n/:/g;ba' filename 又会报sed: The label  is greater than eight characters.

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
5 [报告]
发表于 2013-12-11 14:43 |只看该作者
本帖最后由 yestreenstars 于 2013-12-11 14:51 编辑

去软回车用dos2unix,合并用awk:
  1. [root@localhost ~]# awk --re-interval -vRS='[0-9]{9},' 'NF+=0{$0=t$0;t=RT}1' i
  2. Prctnr Cnum Id,Asgnmt Id,Strt Dt,End Dt,Cre T,Asgnmt Catgry Cd,Project Name,Client Name,Rem Stat Txt
  3. 060069672,"10,636,278.",10/08/13,11/30/13,09/25/13 03:09 AM,BIL,"255U-1B2M74J, ICBC PF,C.02420.002",ICBC,
  4. 060069672,"10,846,782.",11/14/13,12/13/13,11/13/13 04:07 AM,BIL,"WM-FZUCP74, ICBC PF PCR",INDUSTRIAL AND COMMERCIAL BANK OF,"C.02420.004, WM-FZUCP74,ICBC PF P OS fulfilled and closed"
  5. 060112672,"10,135,402.",05/06/13,12/31/13,05/20/13 10:10 AM,PIL,CIS Prototype development,YOKOHAMA CITY UNIVERSITY HOSPITAL,CN-13-04243
  6. [root@localhost ~]#
复制代码

论坛徽章:
0
6 [报告]
发表于 2013-12-11 14:53 |只看该作者
回复 5# yestreenstars

谢谢兄弟,但是我是想用sed命名去掉软回车, 可以用 sed  ’s/^M//g' filename 去除多少的回车符,但是就是不知道怎么合并

   

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
7 [报告]
发表于 2013-12-11 15:02 |只看该作者
回复 6# specialco
去软件回车和合并行一起完成:
  1. [root@localhost ~]# sed -nr '/^[0-9]{9},/{h;:1;${g;p};n;/^[0-9]{9},/{x;s/\r\n/ /g;p;x;h;b1};H;b1};p' i
  2. Prctnr Cnum Id,Asgnmt Id,Strt Dt,End Dt,Cre T,Asgnmt Catgry Cd,Project Name,Client Name,Rem Stat Txt
  3. 060069672,"10,636,278.",10/08/13,11/30/13,09/25/13 03:09 AM,BIL,"255U-1B2M74J, ICBC PF,C.02420.002",ICBC,
  4. 060069672,"10,846,782.",11/14/13,12/13/13,11/13/13 04:07 AM,BIL,"WM-FZUCP74, ICBC PF PCR",INDUSTRIAL AND COMMERCIAL BANK OF,"C.02420.004, WM-FZUCP74,ICBC PF PCR ICBC PF PCR OS fulfilled and closed"
  5. 060112672,"10,135,402.",05/06/13,12/31/13,05/20/13 10:10 AM,PIL,CIS Prototype development,YOKOHAMA CITY UNIVERSITY HOSPITAL,CN-13-04243
  6. [root@localhost ~]#
复制代码

论坛徽章:
0
8 [报告]
发表于 2013-12-11 15:17 |只看该作者
回复 7# yestreenstars

兄弟,怎么解决 执行命令后是is greater than eight characters.的错误,我的aix


   

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
9 [报告]
发表于 2013-12-11 15:22 |只看该作者
回复 8# specialco
aix比较奇葩,改成这样试试:
  1. sed -nr -e '/^[0-9]{9},/{h' -e ':1' -e '${g;p};n;/^[0-9]{9},/{x;s/\n/ /g;p;x;h;b1};H;b1};p'
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP