忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
12下一页
最近访问板块 发新帖
查看: 2333 | 回复: 15

[文本处理] 急,shell处理 [复制链接]

论坛徽章:
0
发表于 2017-07-04 11:17 |显示全部楼层
现在某个文件夹下每天都会有一些文件,我需要把每天把这些文件汇总到一个文件里,用sqlldr装入数据库,但是这些文件数据都少一个字段,字段内容应该是这个文件的名字,比如说有a,b,c三个文件
文件内容都为 1 2 3
                  4 5 6
现在需要加一个字段 a 1 2 3    同理b也一样 b 1 2 3                 最后需要汇总到一个文件里    a 1 2 3
                          a 4 5 6                    b 4 5 6                                                       a 4 5 6
                                                                                                                         b 1 2 3
                                                                                                                         b 4 5 6

论坛徽章:
49
15-16赛季CBA联赛之佛山
日期:2017-07-19 09:53:002015亚冠之广州富力
日期:2015-07-07 08:26:172015亚冠之塔什干棉农
日期:2015-06-29 09:08:072015年亚洲杯之伊朗
日期:2015-03-08 20:51:012015年迎新春徽章
日期:2015-03-04 09:58:11未羊
日期:2014-10-16 22:41:47处女座
日期:2014-10-16 15:33:33酉鸡
日期:2014-03-13 12:54:10巳蛇
日期:2014-03-10 14:39:05卯兔
日期:2014-03-07 17:15:252015年亚冠纪念徽章
日期:2015-07-23 11:58:122015亚冠之德黑兰石油
日期:2015-07-29 12:46:37
发表于 2017-07-04 11:38 |显示全部楼层
  1. awk '$0=FILENAME" "$0' a
复制代码

论坛徽章:
0
发表于 2017-07-04 13:15 |显示全部楼层
回复 2# WilliBhamlll

批量将所有文件的文件名导入到该文件里的第一位该怎么实现,大哥

论坛徽章:
26
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之青岛
日期:2016-11-26 17:00:4615-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:54
发表于 2017-07-04 13:38 |显示全部楼层

  1. find /root/dir1 -type f|sort|xargs awk '{$1=gensub(".*/","",1,FILENAME) FS $1}1'
复制代码

路径 "/root/dir1" 自己改一下

论坛徽章:
0
发表于 2017-07-04 13:42 |显示全部楼层
回复 5# moperyblue

大哥,受小弟一拜,太厉害了

论坛徽章:
105
ChinaUnix元老
日期:2015-02-02 08:55:39CU十二周年纪念徽章
日期:2015-02-02 08:55:50午马
日期:2014-04-30 10:30:44双子座
日期:2013-08-20 08:22:52双鱼座
日期:2013-08-20 17:47:58丑牛
日期:2013-09-13 13:10:45水瓶座
日期:2013-09-13 21:15:33寅虎
日期:2013-09-25 11:23:51戌狗
日期:2013-09-26 13:21:25丑牛
日期:2013-09-26 14:23:42亥猪
日期:2013-09-27 17:42:00亥猪
日期:2013-09-27 17:45:14
发表于 2017-07-04 13:45 |显示全部楼层
本帖最后由 Shell_HAT 于 2017-07-05 12:39 编辑
  1. > merge.log
  2. for file in "*.txt"; do
  3.     awk '$0=FILENAME" "$0' $file >> merge.log
  4. done
复制代码

更正:
  1. > merge.log
  2. for file in *.txt; do
  3.     awk '$0=FILENAME" "$0' "$file" >> merge.log
  4. done
复制代码

论坛徽章:
26
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之青岛
日期:2016-11-26 17:00:4615-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:54
发表于 2017-07-04 13:46 |显示全部楼层
回复 6# live304009468


不客气

论坛徽章:
0
发表于 2017-07-04 13:57 |显示全部楼层
回复 7# Shell_HAT

厉害厉害,感谢

论坛徽章:
0
发表于 2017-07-04 13:58 |显示全部楼层
回复 7# Shell_HAT

厉害,非常感谢

论坛徽章:
50
CU十四周年纪念徽章
日期:2017-06-19 17:49:06CU十四周年纪念徽章
日期:2015-11-25 15:35:40白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:532015七夕节徽章
日期:2015-08-21 11:06:172015亚冠之大阪钢巴
日期:2015-06-25 17:30:04黄金圣斗士
日期:2015-12-02 11:44:35程序设计版块每日发帖之星
日期:2015-12-22 06:20:00
发表于 2017-07-04 17:33 |显示全部楼层
回复 7# Shell_HAT


"*.txt" , 这个双引号, 可不能加呀
您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP