求助大神，多文本统计

CDX0923

求助大神，统计多个文件关键字出现的次数，请大神指教如何实现，内容如下：
file1
洲,国,省,市,a
亚洲,中国,宁夏,银川,fsaf
亚洲,中国,辽宁,沈阳,gag
亚洲,中国,河北,石家庄,sgag
亚洲,中国,陕西,西安,eyy
亚洲,中国,陕西,西安,xv

file2
洲,国,省,市,b
亚洲,中国,辽宁,沈阳,xcv
亚洲,中国,宁夏,银川,kryh
亚洲,中国,陕西,西安,la
亚洲,中国,河南,郑州,pwej



file3
洲,国,省,市,c
亚洲,中国,陕西,西安,wow
亚洲,中国,河北,石家庄,cfg
亚洲,中国,甘肃,兰州,cnf
亚洲,中国,陕西,西安,aaww



统计想要的结果
洲,国,省,市,file1,file2,file3
亚洲,中国,宁夏,银川,1,1,0
亚洲,中国,辽宁,沈阳,1,1,0
亚洲,中国,河北,石家庄,1,0,1
亚洲,中国,陕西,西安,2,1,2
亚洲,中国,河南,郑州,0,1,0
亚洲,中国,甘肃,兰州,0,0,1

csccyab

$ awk -F',' 'FNR>1{a[$1,$2,$3,$4]} FILENAME==ARGV[1]&&FNR>1{a1[$1,$2,$3,$4]++} FILENAME==ARGV[2]&&FNR>1{a2[$1,$2,$3,$4]++} FILENAME==ARGV[3]&&FNR>1{a3[$1,$2,$3,$4]++}END{for (i in a) {split(i,b,SUBSEP); printf "%s,%s,%s,%s,%d,%d,%d\n",b[1],b[2],b[3],b[4],a1,a2,a3}} ' file1 file2 file3
亚洲,中国,河北,石家庄,1,0,1
亚洲,中国,陕西,西安,2,1,2
亚洲,中国,宁夏,银川,1,1,0
亚洲,中国,甘肃,兰州,0,0,1
亚洲,中国,河南,郑州,0,1,0
亚洲,中国,辽宁,沈阳,1,1,0

CDX0923

回复 2# csccyab

这个我执行之后报错 awk: cmd. line:1: (FILENAME=file3 FNR=5) fatal: attempt to use array `a1' in a scalar context

CDX0923

回复 2# csccyab

这个我执行之后报错 awk: cmd. line:1: (FILENAME=file3 FNR=5) fatal: attempt to use array `a1' in a scalar context

CDX0923

回复 2# csccyab

论坛报错就多出现了几条回复

csccyab

This should be correct:

awk -F',' 'FNR>1{a[$1,$2,$3,$4]} FILENAME==ARGV[1]&&FNR>1{a1[$1,$2,$3,$4]++} FILENAME==ARGV[2]&&FNR>1{a2[$1,$2,$3,$4]++} FILENAME==ARGV[3]&&FNR>1{a3[$1,$2,$3,$4]++}END{for (i in a) {split(i,b,SUBSEP); printf "%s,%s,%s,%s,%d,%d,%d\n",b[1],b[2],b[3],b[4],a1[i],a2[i],a3[i]}} ' file1 file2 file3

CDX0923

csccyab 发表于 2019-01-10 14:01
This should be correct:awk -F',' 'FNR>1{a[$1,$2,$3,$4]} FILENAME==ARGV[1]&&FNR>1{a1[$1,$2,$3,$4]++}  ...

可以了，谢谢大神

CDX0923

回复 6# csccyab

如果是几十个文件的话这个有优化的写法吗

csccyab

Python 版本

$ cat 3.py
import collections, sys, re

filecount=0
dict1 = collections.defaultdict(list)

for file1 in sys.argv[1:]:
   filecount+=1
   f = open(file1, "r")
   linecount=1
   for line in f:
      if linecount>1:
         p = re.search("^(.+),.+", line.strip())
         if p:
            dict1[p.group(1)].append(filecount)
      linecount+=1

for the_key, the_value in dict1.iteritems():
   count=''
   sys.stdout.write(the_key + ',')
   c = collections.Counter(the_value)
   for i in range(1,filecount+1):
      if count:
         count = count + "," + str(c)
      else:
         count = str(c)
   print(count)


$ python 3.py file1 file2 file3
亚洲,中国,辽宁,沈阳,1,1,0
亚洲,中国,陕西,西安,2,1,2
亚洲,中国,甘肃,兰州,0,0,1
亚洲,中国,河南,郑州,0,1,0
亚洲,中国,宁夏,银川,1,1,0
亚洲,中国,河北,石家庄,1,0,1

csccyab

1. #include <stdio.h>
   
2. #include <stdlib.h>
   
3. #include <regex.h>
   
4. #include <string.h>
   
5. 
   
6. struct LinkedList {
   
7.         int* count;
   
8.         char* data;
   
9.         struct LinkedList *next;
   
10. };
    
11. 
    
12. typedef struct LinkedList *node;
    
13. 
    
14. int main(int argc, char *argv[]) {
    
15.         int i;
    
16.         FILE *f;
    
17.         char line[30];
    
18.         const char* pattern = "(.+),.+";
    
19.         node head = NULL;
    
20.         int linecount;
    
21.         char firstline[30];
    
22. 
    
23.         regex_t preg;
    
24.         regmatch_t pmatch[50];
    
25.         regcomp(&preg, pattern, REG_EXTENDED);
    
26. 
    
27. 
    
28.         for (i=1; i<argc; i++) {
    
29.                 f = fopen(argv, "r");
    
30.                 linecount = 0;
    
31.                 if (f == NULL){
    
32.                         printf("Can't open file %s", argv);
    
33.                         exit(1);
    
34.                 }
    
35.                 int r=0;
    
36.                 while (fscanf(f, "%s", line) == 1) {
    
37.                         linecount++;
    
38.                         if (linecount > 1) {
    
39.                                 if (!regexec(&preg, line, 3, pmatch, 0)) {
    
40.                                         if (head == NULL){
    
41.                                                 head = (node)malloc(sizeof(struct LinkedList));
    
42.                                                 head->data = malloc(50);
    
43.                                                 head->next = NULL;
    
44.                                                 strncpy(head->data, line + pmatch[1].rm_so, pmatch[1].rm_eo - pmatch[1].rm_so);
    
45.                                                 head->count = (int*)calloc(argc-1, sizeof(int));
    
46.                                                 head->count[i-1]++;
    
47.                                         } else {
    
48.                                                 node temp, p;
    
49.                                                 p = head;
    
50. 
    
51.                                                 temp = (node)malloc(sizeof(struct LinkedList));
    
52.                                                 temp->data = malloc(50);
    
53.                                                 temp->next = NULL;
    
54.                                                 temp->count = (int*)calloc(argc-1, sizeof(int));
    
55.                                                 temp->count[i-1] = 1;
    
56.                                                 strncpy(temp->data, line + pmatch[1].rm_so, pmatch[1].rm_eo - pmatch[1].rm_so);
    
57. 
    
58.                                                 while(1){
    
59.                                                         int res = strcmp(temp->data, p->data);
    
60.                                                         if (res==0) {
    
61.                                                                 p->count[i-1]++;
    
62.                                                                 break;
    
63.                                                         } else {
    
64.                                                                 if (p->next == NULL) {
    
65.                                                                         p->next = temp;
    
66.                                                                         break;
    
67.                                                                 }
    
68.                                                         }
    
69.                                                         p = p->next;
    
70.                                                 }
    
71.                                         }
    
72.                                 }
    
73.                         } else {
    
74.                                 regexec(&preg, line, 3, pmatch, 0);
    
75.                                 strncpy(firstline, line + pmatch[1].rm_so, pmatch[1].rm_eo - pmatch[1].rm_so);
    
76.                         }
    
77.                 }
    
78.                 fclose(f);
    
79.         }
    
80. 
    
81.         node ptr = head;
    
82. 
    
83.         printf("%s", firstline);
    
84.         for (i=1; i<argc; i++)
    
85.                 printf(",%s", argv);
    
86.         printf("\n");
    
87. 
    
88.         while (ptr != NULL){
    
89.                 printf("%s", ptr->data);
    
90.                 int j;
    
91.                 for (j=0; j<argc-1; j++)
    
92.                         printf(",%d", ptr->count[j]);
    
93.                 printf("\n");
    
94.                 ptr = ptr->next;
    
95.         }
    
96. }

复制代码

$ ./ll 1.txt 2.txt 3.txt
洲,国,省,市,1.txt,2.txt,3.txt
亚洲,中国,宁夏,银川,1,1,0
亚洲,中国,辽宁,沈阳,1,1,0
亚洲,中国,河北,石家庄,1,0,1
亚洲,中国,陕西,西安,2,1,2
亚洲,中国,河南,郑州,0,1,0
亚洲,中国,甘肃,兰州,0,0,1