免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3565 | 回复: 7
打印 上一主题 下一主题

[文本处理] shell批量处理csv文件 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-04-04 23:01 |只看该作者 |倒序浏览
本帖最后由 ma7501661 于 2016-04-05 14:42 编辑

做一个shell,把下面的CSV文件中按公司按年”分类“计算出总金额。输出到新文件中。文件名是公司名_年 目录名在SHELL的设定文件(和SHELL同一个目录下的ini文件)

姓名,公司,时间,金额
的方法,大众,20160301,23234
方法,丰田,20160301,324234
羊肉汤,大众,20160301,44345
发的,大众,20160301,2342
问问,丰田,20160301,87567
大多数,丰田,20170301,78464
单反,大众,20160301,87452
水电费,丰田,20160301,546456
斯蒂芬,大众,20170301,76767

有多个csv文件,在一个文件夹中

论坛徽章:
29
程序设计版块每日发帖之星
日期:2016-02-29 06:20:0015-16赛季CBA联赛之天津
日期:2016-08-10 10:33:1115-16赛季CBA联赛之深圳
日期:2016-08-17 15:07:2015-16赛季CBA联赛之佛山
日期:2016-11-07 11:33:5015-16赛季CBA联赛之广夏
日期:2016-11-15 09:13:31CU十四周年纪念徽章
日期:2016-11-24 14:12:25极客徽章
日期:2016-12-07 14:03:4015-16赛季CBA联赛之深圳
日期:2016-12-07 17:15:2715-16赛季CBA联赛之北京
日期:2016-12-22 09:30:0115-16赛季CBA联赛之深圳
日期:2016-12-22 10:49:2115-16赛季CBA联赛之山西
日期:2017-02-10 09:05:3215-16赛季CBA联赛之同曦
日期:2017-02-27 14:19:08
2 [报告]
发表于 2016-04-05 09:22 |只看该作者
  1. awk -F',' 'NR>=2{a[$2"_"substr($3,0,4)]+=$4;}END{for(i in a)print i, a[i]>i".ini"}'
复制代码

论坛徽章:
6
羊年新春福章
日期:2015-03-03 17:16:28双子座
日期:2015-03-03 17:16:56巳蛇
日期:2015-03-03 17:17:2415-16赛季CBA联赛之福建
日期:2016-03-11 09:05:00黑曼巴
日期:2016-07-07 16:58:1215-16赛季CBA联赛之吉林
日期:2016-11-14 09:23:07
3 [报告]
发表于 2016-04-05 10:16 |只看该作者
#!/bin/bash

awk -F "," 'NR>1{$3=substr($3,1,4);a[$2" "$3]+=$4}END{for(i in a)print i,a[i]}' file > file.txt

while read line
do
  file_name=`echo $line|awk '{print $1"_"$2}'`
  echo $line > $file_name
done < file.txt

求职 : 技术支持/维
论坛徽章:
0
4 [报告]
发表于 2016-04-05 10:24 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
5 [报告]
发表于 2016-04-05 14:36 |只看该作者
我要是一个文件夹下有多个csv,怎么遍历文件夹下的文件0回复 3# jcdiy0601


   

论坛徽章:
12
程序设计版块每日发帖之星
日期:2016-01-28 06:20:00程序设计版块每周发帖之星
日期:2016-03-07 16:29:28程序设计版块每日发帖之星
日期:2016-02-04 06:20:00程序设计版块每日发帖之星
日期:2016-02-02 06:20:00每周论坛发贴之星
日期:2016-01-31 22:22:00程序设计版块每日发帖之星
日期:2016-02-01 06:20:00程序设计版块每日发帖之星
日期:2016-01-31 06:20:00每日论坛发贴之星
日期:2016-01-30 06:20:00程序设计版块每日发帖之星
日期:2016-01-30 06:20:00每日论坛发贴之星
日期:2016-01-29 06:20:00程序设计版块每日发帖之星
日期:2016-01-29 06:20:0015-16赛季CBA联赛之福建
日期:2016-04-06 14:19:05
6 [报告]
发表于 2016-04-06 09:43 |只看该作者
回复 5# ma7501661


    在那个兄弟基础上while外面加多一个for file in `ls|grep *.csv`

把那个脚本放到当前目录下就可以了
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP