免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 4155 | 回复: 21
打印 上一主题 下一主题

[文本处理] 请教把文件中英文格式的时间字段替换成标准格式的时间字段,例如May 20 2014 10:29:41 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-01-20 15:55 |只看该作者 |倒序浏览
我有多个文件需要这样处理,但每个文件的分隔符数量不一样且时间字段位置不一样和一条记录可能会有多个时间字段怎么办呢?
文本中可能出现所有12个月的英文字串替换成数字月份,并且把后面的微秒去掉,并且如果是AM时直接去掉AM,为PM时时间加上12小时为24小时制。
类似要格式化文件中May 20 2014 10:29:41:076AM成2014-05-20 10:29:41,
文件中可能字段值会有回车换行,可能会有空行,但空行不能去掉,回车换行也不能去掉

谢谢!

例如file1:
ggg##Jan 20 2014 10:29:41:076PM##abc##中国
234sdf##Apr 25 2015 10:29:41:076AM##gcd##美国
dfgdfg
4747##Sep 29 2015 1:29:41:076AM##yyy##美国
经过替换后变成
ggg##2014-01-20 22:29:41##abc##中国
234sdf##2015-04-25 10:29:41##gcd##美国
dfgdfg
4747##2015-09-29 01:29:41##yyy##美国

file2:
1##5667##Jan 2 2013 10:29:41:076PM##rtyr##中国
2##ewrer##Apr 17 2016 10:29:41:076AM##rty##埃及

3##hjkhjk##Oct 9 2012 1:29:41:076AM##tyityu##伊朗

经过替换后:
1##5667##2013-01-02 22:29:41##rtyr##中国
2##ewrer##2016-04-17 10:29:41##rty##埃及

3##hjkhjk##2012-10-09 01:29:41##tyityu##伊朗

file3:
1##5667##Jan 2 2013 10:29:41:076PM##Jan 2 2013 10:29:41:076PM##rtyr##中国
2##ewrer##Apr 17 2016 10:29:41:076AM##Jan 2 2013 10:29:41:076PM##rty##埃及

3##hjkhjk##Oct 9 2012 1:29:41:076AM##Jan 2 2013 10:29:41:076PM##tyityu##伊朗
经过替换后:
1##5667##2013-01-02 22:29:41##2013-01-02 22:29:41##rtyr##中国
2##ewrer##2016-04-17 10:29:41##2013-01-02 22:29:41##rty##埃及

3##hjkhjk##2012-10-09 01:29:41##2013-01-02 22:29:41##tyityu##伊朗

感谢各位大神!!

论坛徽章:
54
2015亚冠之德黑兰石油
日期:2015-07-07 13:00:1615-16赛季CBA联赛之深圳
日期:2016-03-31 09:03:5415-16赛季CBA联赛之辽宁
日期:2016-05-09 20:38:15程序设计版块每日发帖之星
日期:2016-05-12 06:20:0015-16赛季CBA联赛之四川
日期:2016-05-13 15:19:4715-16赛季CBA联赛之福建
日期:2016-05-15 20:24:34每日论坛发贴之星
日期:2016-05-16 06:20:0015-16赛季CBA联赛之吉林
日期:2016-05-26 11:49:4715-16赛季CBA联赛之广东
日期:2016-05-26 13:49:18极客徽章
日期:2016-12-07 14:05:2315-16赛季CBA联赛之广夏
日期:2016-12-20 17:33:532017金鸡报晓
日期:2017-01-10 15:19:56
2 [报告]
发表于 2016-01-20 16:13 |只看该作者
gawk 4
  1. awk '
  2. BEGIN{
  3.     OFS=FS="##"
  4.     a["PM"]=12
  5. }
  6. NF{
  7.     patsplit($0,m,"... [0-9]{1,2} [0-9]{4} [0-9]{1,2}:[0-9]{1,2}:[0-9]{1,2}:[0-9]{3}..")
  8.     for(i in m){
  9.         split(m[i],t,"[ :]")
  10.         sub(m[i],strftime("%F %T",mktime(t[3]" "(index("JanFebMarAprMayJunJulAugSepOctNovDec",t[1])+2)/3" "t[2]" "t[4]" "t[5]" "t[6])+a[substr(t[7],4)]*3600))
  11.     }
  12.     print
  13. }
  14. ' file
复制代码

论坛徽章:
0
3 [报告]
发表于 2016-01-20 16:50 |只看该作者
回复 2# haooooaaa


    高手您好,执行了报错信息:
awk: 命令行:13: (FILENAME=y FNR=1) 致命错误: 函数“patsplit”未定义

论坛徽章:
5
金牛座
日期:2013-10-14 14:40:422015年亚洲杯之伊朗
日期:2015-03-26 10:37:012015亚冠之浦和红钻
日期:2015-10-12 17:47:4115-16赛季CBA联赛之山东
日期:2016-01-20 16:43:1215-16赛季CBA联赛之辽宁
日期:2016-03-29 16:43:59
4 [报告]
发表于 2016-01-20 16:52 |只看该作者
sed -r 's/:[^:]*(.)M/ \1M/' file|while read line ;do time=`echo $line|grep -oP "[^#]+:[^#]+"`;if [[ $? -eq 0 ]];then i="`date -d "$time" +%F" "%T`";echo $line|sed "s/[^#]*:[^#]*/$i/"; else echo $line;fi;done

把file换成你的文件名即可。

论坛徽章:
5
金牛座
日期:2013-10-14 14:40:422015年亚洲杯之伊朗
日期:2015-03-26 10:37:012015亚冠之浦和红钻
日期:2015-10-12 17:47:4115-16赛季CBA联赛之山东
日期:2016-01-20 16:43:1215-16赛季CBA联赛之辽宁
日期:2016-03-29 16:43:59
5 [报告]
发表于 2016-01-20 16:53 |只看该作者
sed -r 's/:[^:]*(.)M/ \1M/' file|while read line ;do time=`echo $line|grep -oP "[^#]+:[^#]+"`;if [[ $? -eq 0 ]];then i="`date -d "$time" +%F" "%T`";echo $line|sed "s/[^#]*:[^#]*/$i/"; else echo $line;fi;done

把file换成你的文件名即可。

论坛徽章:
5
金牛座
日期:2013-10-14 14:40:422015年亚洲杯之伊朗
日期:2015-03-26 10:37:012015亚冠之浦和红钻
日期:2015-10-12 17:47:4115-16赛季CBA联赛之山东
日期:2016-01-20 16:43:1215-16赛季CBA联赛之辽宁
日期:2016-03-29 16:43:59
6 [报告]
发表于 2016-01-20 16:54 |只看该作者
  1. sed -r 's/:[^:]*(.)M/ \1M/' [color=Red]file[/color]|while read line ;do time=`echo $line|grep -oP "[^#]+:[^#]+"`;if [[ $? -eq 0 ]];then i="`date -d "$time" +%F" "%T`";echo $line|sed "s/[^#]*:[^#]*/$i/"; else echo $line;fi;done
复制代码
把file换成你的文件名

论坛徽章:
5
金牛座
日期:2013-10-14 14:40:422015年亚洲杯之伊朗
日期:2015-03-26 10:37:012015亚冠之浦和红钻
日期:2015-10-12 17:47:4115-16赛季CBA联赛之山东
日期:2016-01-20 16:43:1215-16赛季CBA联赛之辽宁
日期:2016-03-29 16:43:59
7 [报告]
发表于 2016-01-20 16:55 |只看该作者
111111111111111111111111

论坛徽章:
5
金牛座
日期:2013-10-14 14:40:422015年亚洲杯之伊朗
日期:2015-03-26 10:37:012015亚冠之浦和红钻
日期:2015-10-12 17:47:4115-16赛季CBA联赛之山东
日期:2016-01-20 16:43:1215-16赛季CBA联赛之辽宁
日期:2016-03-29 16:43:59
8 [报告]
发表于 2016-01-20 16:56 |只看该作者
sed -r 's/:[^:]*(.)M/ \1M/' file|while read line ;do time=`echo $line|grep -oP "[^#]+:[^#]+"`;if [[ $? -eq 0 ]];then i="`date -d "$time" +%F" "%T`";echo $line|sed "s/[^#]*:[^#]*/$i/"; else echo $line;fi;done

把file换成你的文件名即可。

论坛徽章:
5
金牛座
日期:2013-10-14 14:40:422015年亚洲杯之伊朗
日期:2015-03-26 10:37:012015亚冠之浦和红钻
日期:2015-10-12 17:47:4115-16赛季CBA联赛之山东
日期:2016-01-20 16:43:1215-16赛季CBA联赛之辽宁
日期:2016-03-29 16:43:59
9 [报告]
发表于 2016-01-20 16:57 |只看该作者
sed -r 's/:[^:]*(.)M/ \1M/' file|while read line ;do time=`echo $line|grep -oP "[^#]+:[^#]+"`;if [[ $? -eq 0 ]];then i="`date -d "$time" +%F" "%T`";echo $line|sed "s/[^#]*:[^#]*/$i/"; else echo $line;fi;done

把file换成你的文件名即可。

论坛徽章:
5
金牛座
日期:2013-10-14 14:40:422015年亚洲杯之伊朗
日期:2015-03-26 10:37:012015亚冠之浦和红钻
日期:2015-10-12 17:47:4115-16赛季CBA联赛之山东
日期:2016-01-20 16:43:1215-16赛季CBA联赛之辽宁
日期:2016-03-29 16:43:59
10 [报告]
发表于 2016-01-20 16:57 |只看该作者
11111111111111111111111111111
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP