awk 处理逗点分隔符文件（csv）

YuZile

逗点分隔符文件可看作多列，每列之间一逗号分开，现有一文件150列，500行，现在需要多次对源文件（src）进行提取某些列获得一个新的文件，比如第一次要提取23、34、45、56、57、68、72、89、90、100、102、124、125、130、142这些列，第二次提取1、3、5、6、8、42、63、73、84、89、90、96、105、107、137、149这些列，每次要提取的这些列记录在一个文件sc中

现在有一个思路（shell文件）：
1、把记录要提取的列的sc文件中列读入一个数组sc，每一个数组元素记录一个列数
2、遍历源文件src，对每一行用awk进行处理：先split一逗号为分隔符分离，存入数组START，现在START中为当前行的每一个数据项，然后循环打印START[ $sc[ i ] ]，当然间隔打印一个逗号，最后打印一个换行符
现在遇到一个问题，$sc [ i ]要访问sc数组，但是awk无法访问该数组，这个能解决吗？
或者用其他方法

waker

直接用awk的数组记录列

dwj19830118

awk -v file=urfile -F "," 'BEGIN{
                while ( getline value < file ) {
                        H[value]=value;
                }
                }
                {       for (k in H) printf $k" "; printf "\n"}' a.log

urfile 里面填你要打印的列

personball

回复 1# YuZile

1.     personball@vostro:~$echo 'a,b,c,d,e'|cut -d, -f1,3,5
   
2. a,c,e
   
3. personball@vostro:~$

复制代码

YuZile

回复 2# waker


    不好打印啊
    求详解？

blackold

awk 就可以了。不必再split。

YuZile

回复 3# dwj19830118

awk -v file=urfile -F "," 'BEGIN{
                while ( getline value < file ) {
                        H[value]=value;
                }
                }
                {       for (k in H) printf $k" "; printf "\n"}' a.log

    这个真没干这么写，awk能这么打印真没想到

YuZile

回复 4# personball


    不用awk，这个大概是最简洁的做法了，就算列是乱序也能自动排序使列的相对顺序不变

YuZile

回复 6# blackold


    dwj19830118的做法就是，我一开始没想到打印效果是这样的，然后就高复杂了

personball

继续搞cut

1. cat sc |xargs -I {} cut -d, -f{} data > data.new

复制代码

虽然提取了列。。不过最终输出的数据是在一个文件里的。。。由于原始文件行数固定，这个文件分割也不算麻烦吧，哈。。