免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 5782 | 回复: 18
打印 上一主题 下一主题

怎么能以最快的速度在数据文件的每一行的结尾处加上一个字符串. [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2007-12-27 15:29 |只看该作者 |倒序浏览
问题描述:
例如数据文件是:
123|nihao|dajiahao
4521|dajiahao|nihao
处理后的内容为:
123|nihao|dajiahao|20071226
4521|dajiahao|nihao|20071226

要求:
1.效率高,因为数据文件很大.
2.不要改变原数据的最后一个域的长度,例如不要得到:
123|nihao|dajiahao |20071226
4521|dajiahao|nihao |20071226

论坛徽章:
0
2 [报告]
发表于 2007-12-27 15:30 |只看该作者
我用:sed -e s/"\n"/"20071226\n"/g <test.txt>test.out
行不通的

论坛徽章:
3
2015年迎新春徽章
日期:2015-03-04 09:56:11数据库技术版块每日发帖之星
日期:2016-08-03 06:20:00数据库技术版块每日发帖之星
日期:2016-08-04 06:20:00
3 [报告]
发表于 2007-12-27 15:38 |只看该作者
sed -nr 's/(\w)[ \t]*$/\120071226/p'
之所以加\w,是防止空行

论坛徽章:
0
4 [报告]
发表于 2007-12-27 15:40 |只看该作者

  1. sed 's/$/&|20071226/' ufile
复制代码


try

论坛徽章:
0
5 [报告]
发表于 2007-12-27 15:40 |只看该作者
呵呵,谢谢大家,本人已经解决了,不过就是太慢:
adddate ( )                                            
{                                                      
datdate=$1                                             
awk 'BEGIN { FS="|!"}                                 
     {print $0"|!'"$datdate"'"}' <test.txt >test.out   
}                                                      
                                                      
adddate 20071226                                       

希望大家能给出一个快一点的方案.

论坛徽章:
0
6 [报告]
发表于 2007-12-27 15:45 |只看该作者
sed 's/.$/&|20071226/' urfile

论坛徽章:
23
15-16赛季CBA联赛之吉林
日期:2017-12-21 16:39:27白羊座
日期:2014-10-27 11:14:37申猴
日期:2014-10-23 08:36:23金牛座
日期:2014-09-30 08:26:49午马
日期:2014-09-29 09:40:16射手座
日期:2014-11-25 08:56:112015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东
日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东
日期:2016-01-19 13:33:372015亚冠之山东鲁能
日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者
日期:2015-09-21 08:27:57
7 [报告]
发表于 2007-12-27 15:56 |只看该作者
原帖由 hfvbc 于 2007-12-27 15:40 发表
呵呵,谢谢大家,本人已经解决了,不过就是太慢:
adddate ( )                                            
{                                                      
datdate=$1                        ...


直接cp test.txt test.out
看要多少时间,感觉应该跟awk差不了多少。
文件很大的话,瓶颈在IO,并不是代码。

论坛徽章:
0
8 [报告]
发表于 2007-12-27 16:06 |只看该作者

回复 #7 ly5066113 的帖子

cp 比awk快了不知道道多少倍.
cp一个文件30s左右,而awk要8min多.
谢谢提醒啊,但不知道怎么提高io?望进一步指点.

论坛徽章:
23
15-16赛季CBA联赛之吉林
日期:2017-12-21 16:39:27白羊座
日期:2014-10-27 11:14:37申猴
日期:2014-10-23 08:36:23金牛座
日期:2014-09-30 08:26:49午马
日期:2014-09-29 09:40:16射手座
日期:2014-11-25 08:56:112015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东
日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东
日期:2016-01-19 13:33:372015亚冠之山东鲁能
日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者
日期:2015-09-21 08:27:57
9 [报告]
发表于 2007-12-27 16:11 |只看该作者
原帖由 hfvbc 于 2007-12-27 16:06 发表
cp 比awk快了不知道道多少倍.
cp一个文件30s左右,而awk要8min多.
谢谢提醒啊,但不知道怎么提高io?望进一步指点.


不可能吧。
你的文件有多大?记录多少条?

论坛徽章:
0
10 [报告]
发表于 2007-12-27 16:13 |只看该作者

回复 #9 ly5066113 的帖子

1.5G
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP