shell 提取csv 文件

jsb1993926

请教各位需要写一个shell 名为cprocess.h
1.需要提取如下csv文件的第1.2.3列StudentID ，studentnetworkusername，以及studentname也就是说其他的信息不需要只需要前3个不重复的信息
2.之后再进行查重排除重复项比如学号100 的出现了两次那只提取一次



3.执行文件后输出结果为如下

请问应该用什么样方法呢
谢谢
input.rar (1.2 KB, 下载次数: 15)

2019-04-12 03:16 上传

点击文件名下载附件

另外请问一下
是否可以用./cprocess.h ./xxx.csv 命令直接执行该脚本？

cfwyy

发样本应该发文本，或者传文件附件，图片让人怎么试- - 先来个OCR？
未用你的样本测试，你自己试一下，可以用你说的格式，
csv文件在当前目录下，这样就可以了。

1. ./cprocess.h xxx.csv

复制代码

1. #!/usr/bin/awk -f
   
2. BEGIN        {
   
3.     FS=","
   
4. }
   
5. NR==1{
   
6.     head=$1","$2","$3
   
7. }
   
8. NR>1{
   
9.     a[$1]=$1","$2","$3
   
10. }
    
11. END{
    
12.     print head
    
13.     for (i in a)
    
14.         print a[i]
    
15. }

复制代码

jsb1993926

回复 2# cfwyy

非常感谢...不好意思 这个csv附件我传了4次一直传不上去今天传上去了
input.rar (1.2 KB, 下载次数: 7)

2019-04-12 03:07 上传

点击文件名下载附件

这是源文件  我想请问一下 如果我想更改head 的名称应该怎么做呢？
比如说我想要文件中D，F，I，A这几列的数据 然后head改名为 a b c d 应该怎么做呢？
比如最后处理结果像这样：

jsb1993926

回复 2# cfwyy

另外想请教一下如果我想让他处理完毕以后再生成一个   结果.csv 文件应该怎么做呢？ 谢谢

cfwyy

回复 3# jsb1993926

1. #!/usr/bin/awk -f
   
2. BEGIN        {
   
3.     FS=","
   
4. }
   
5. NR==1{
   
6.     head="d,a,b,c"
   
7. }
   
8. NR>1{
   
9.     a[$1]=$1","$4","$6","$9
   
10. }
    
11. END{
    
12.     print head
    
13.     for (i in a)
    
14.         print a[i]
    
15. }

复制代码

1. ./cprocess.h xxx.csv >res.txt

复制代码

dahaoshanhe

Jackis

awk -F"," '{print $1","$2","$3","$4}' input.csv | sort -n | uniq| sed 's/,StudentFirstName//; s/,Madonna$//' > tmp.csv
纯命令行模式

Jackis

awk -F"," '{print $1","$2","$3","$4}' input.csv | sort -n | uniq| sed 's/,StudentFirstName//; s/,Madonna$//' > tmp.csv
纯命令行模式

Jackis

awk -F"," '{print $1","$2","$3","$4}' input.csv | sort -n | uniq| sed 's/,StudentFirstName//; s/,Madonna$//' > tmp.csv
纯命令行模式

Jackis

awk -F"," '{print $1","$2","$3","$4}' input.csv | sort -n | uniq| sed 's/,StudentFirstName//; s/,Madonna$//' > tmp.csv