Chinaunix

标题: 求助大神，多文本统计 [打印本页]
作者: CDX0923    时间: 2019-01-03 19:03
标题: 求助大神，多文本统计
求助大神，统计多个文件关键字出现的次数，请大神指教如何实现，内容如下：
file1
洲,国,省,市,a
亚洲,中国,宁夏,银川,fsaf
亚洲,中国,辽宁,沈阳,gag
亚洲,中国,河北,石家庄,sgag
亚洲,中国,陕西,西安,eyy
亚洲,中国,陕西,西安,xv

file2
洲,国,省,市,b
亚洲,中国,辽宁,沈阳,xcv
亚洲,中国,宁夏,银川,kryh
亚洲,中国,陕西,西安,la
亚洲,中国,河南,郑州,pwej



file3
洲,国,省,市,c
亚洲,中国,陕西,西安,wow
亚洲,中国,河北,石家庄,cfg
亚洲,中国,甘肃,兰州,cnf
亚洲,中国,陕西,西安,aaww



统计想要的结果
洲,国,省,市,file1,file2,file3
亚洲,中国,宁夏,银川,1,1,0
亚洲,中国,辽宁,沈阳,1,1,0
亚洲,中国,河北,石家庄,1,0,1
亚洲,中国,陕西,西安,2,1,2
亚洲,中国,河南,郑州,0,1,0
亚洲,中国,甘肃,兰州,0,0,1

作者: csccyab    时间: 2019-01-09 16:09
本帖最后由 csccyab 于 2019-01-09 16:13 编辑

$ awk -F',' 'FNR>1{a[$1,$2,$3,$4]} FILENAME==ARGV[1]&&FNR>1{a1[$1,$2,$3,$4]++} FILENAME==ARGV[2]&&FNR>1{a2[$1,$2,$3,$4]++} FILENAME==ARGV[3]&&FNR>1{a3[$1,$2,$3,$4]++}END{for (i in a) {split(i,b,SUBSEP); printf "%s,%s,%s,%s,%d,%d,%d\n",b[1],b[2],b[3],b[4],a1,a2,a3}} ' file1 file2 file3
亚洲,中国,河北,石家庄,1,0,1
亚洲,中国,陕西,西安,2,1,2
亚洲,中国,宁夏,银川,1,1,0
亚洲,中国,甘肃,兰州,0,0,1
亚洲,中国,河南,郑州,0,1,0
亚洲,中国,辽宁,沈阳,1,1,0
作者: CDX0923    时间: 2019-01-10 11:09
回复 2# csccyab

这个我执行之后报错 awk: cmd. line:1: (FILENAME=file3 FNR=5) fatal: attempt to use array `a1' in a scalar context
作者: CDX0923    时间: 2019-01-10 11:09
回复 2# csccyab

这个我执行之后报错 awk: cmd. line:1: (FILENAME=file3 FNR=5) fatal: attempt to use array `a1' in a scalar context
作者: CDX0923    时间: 2019-01-10 11:10
本帖最后由 CDX0923 于 2019-01-10 11:12 编辑

回复 2# csccyab

论坛报错就多出现了几条回复
作者: csccyab    时间: 2019-01-10 14:01
This should be correct:

awk -F',' 'FNR>1{a[$1,$2,$3,$4]} FILENAME==ARGV[1]&&FNR>1{a1[$1,$2,$3,$4]++} FILENAME==ARGV[2]&&FNR>1{a2[$1,$2,$3,$4]++} FILENAME==ARGV[3]&&FNR>1{a3[$1,$2,$3,$4]++}END{for (i in a) {split(i,b,SUBSEP); printf "%s,%s,%s,%s,%d,%d,%d\n",b[1],b[2],b[3],b[4],a1[i],a2[i],a3[i]}} ' file1 file2 file3
作者: CDX0923    时间: 2019-01-10 17:29
csccyab 发表于 2019-01-10 14:01
This should be correct:awk -F',' 'FNR>1{a[$1,$2,$3,$4]} FILENAME==ARGV[1]&&FNR>1{a1[$1,$2,$3,$4]++}  ...

可以了，谢谢大神
作者: CDX0923    时间: 2019-01-11 10:27
回复 6# csccyab

如果是几十个文件的话这个有优化的写法吗
作者: csccyab    时间: 2019-01-11 17:16
本帖最后由 csccyab 于 2019-01-24 20:59 编辑

Python 版本

$ cat 3.py
import collections, sys, re

filecount=0
dict1 = collections.defaultdict(list)

for file1 in sys.argv[1:]:
   filecount+=1
   f = open(file1, "r")
   linecount=1
   for line in f:
      if linecount>1:
         p = re.search("^(.+),.+", line.strip())
         if p:
            dict1[p.group(1)].append(filecount)
      linecount+=1

for the_key, the_value in dict1.iteritems():
   count=''
   sys.stdout.write(the_key + ',')
   c = collections.Counter(the_value)
   for i in range(1,filecount+1):
      if count:
         count = count + "," + str(c)
      else:
         count = str(c)
   print(count)


$ python 3.py file1 file2 file3
亚洲,中国,辽宁,沈阳,1,1,0
亚洲,中国,陕西,西安,2,1,2
亚洲,中国,甘肃,兰州,0,0,1
亚洲,中国,河南,郑州,0,1,0
亚洲,中国,宁夏,银川,1,1,0
亚洲,中国,河北,石家庄,1,0,1


作者: csccyab    时间: 2019-01-24 15:06
  1. #include <stdio.h>
  2. #include <stdlib.h>
  3. #include <regex.h>
  4. #include <string.h>

  6. struct LinkedList {
  7.         int* count;
  8.         char* data;
  9.         struct LinkedList *next;
  10. };

  12. typedef struct LinkedList *node;

  14. int main(int argc, char *argv[]) {
  15.         int i;
  16.         FILE *f;
  17.         char line[30];
  18.         const char* pattern = "(.+),.+";
  19.         node head = NULL;
  20.         int linecount;
  21.         char firstline[30];

  23.         regex_t preg;
  24.         regmatch_t pmatch[50];
  25.         regcomp(&preg, pattern, REG_EXTENDED);


  28.         for (i=1; i<argc; i++) {
  29.                 f = fopen(argv, "r");
  30.                 linecount = 0;
  31.                 if (f == NULL){
  32.                         printf("Can't open file %s", argv);
  33.                         exit(1);
  34.                 }
  35.                 int r=0;
  36.                 while (fscanf(f, "%s", line) == 1) {
  37.                         linecount++;
  38.                         if (linecount > 1) {
  39.                                 if (!regexec(&preg, line, 3, pmatch, 0)) {
  40.                                         if (head == NULL){
  41.                                                 head = (node)malloc(sizeof(struct LinkedList));
  42.                                                 head->data = malloc(50);
  43.                                                 head->next = NULL;
  44.                                                 strncpy(head->data, line + pmatch[1].rm_so, pmatch[1].rm_eo - pmatch[1].rm_so);
  45.                                                 head->count = (int*)calloc(argc-1, sizeof(int));
  46.                                                 head->count[i-1]++;
  47.                                         } else {
  48.                                                 node temp, p;
  49.                                                 p = head;

  51.                                                 temp = (node)malloc(sizeof(struct LinkedList));
  52.                                                 temp->data = malloc(50);
  53.                                                 temp->next = NULL;
  54.                                                 temp->count = (int*)calloc(argc-1, sizeof(int));
  55.                                                 temp->count[i-1] = 1;
  56.                                                 strncpy(temp->data, line + pmatch[1].rm_so, pmatch[1].rm_eo - pmatch[1].rm_so);

  58.                                                 while(1){
  59.                                                         int res = strcmp(temp->data, p->data);
  60.                                                         if (res==0) {
  61.                                                                 p->count[i-1]++;
  62.                                                                 break;
  63.                                                         } else {
  64.                                                                 if (p->next == NULL) {
  65.                                                                         p->next = temp;
  66.                                                                         break;
  67.                                                                 }
  68.                                                         }
  69.                                                         p = p->next;
  70.                                                 }
  71.                                         }
  72.                                 }
  73.                         } else {
  74.                                 regexec(&preg, line, 3, pmatch, 0);
  75.                                 strncpy(firstline, line + pmatch[1].rm_so, pmatch[1].rm_eo - pmatch[1].rm_so);
  76.                         }
  77.                 }
  78.                 fclose(f);
  79.         }

  81.         node ptr = head;

  83.         printf("%s", firstline);
  84.         for (i=1; i<argc; i++)
  85.                 printf(",%s", argv);
  86.         printf("\n");

  88.         while (ptr != NULL){
  89.                 printf("%s", ptr->data);
  90.                 int j;
  91.                 for (j=0; j<argc-1; j++)
  92.                         printf(",%d", ptr->count[j]);
  93.                 printf("\n");
  94.                 ptr = ptr->next;
  95.         }
  96. }
复制代码


$ ./ll 1.txt 2.txt 3.txt
洲,国,省,市,1.txt,2.txt,3.txt
亚洲,中国,宁夏,银川,1,1,0
亚洲,中国,辽宁,沈阳,1,1,0
亚洲,中国,河北,石家庄,1,0,1
亚洲,中国,陕西,西安,2,1,2
亚洲,中国,河南,郑州,0,1,0
亚洲,中国,甘肃,兰州,0,0,1

作者: csccyab    时间: 2019-01-24 15:10
以上是 C 版本。
因為 C 沒有 associative array,
所以用了 linked list 去儲存數据

寫得不好欢迎糾正
作者: klainogn    时间: 2019-01-24 19:09
  1. BEGIN{
  2.     FS=","
  3. }
  4. FNR==1{
  5.     headline=$1","$2","$3","$4
  6.     filelist[fileindex++]=FILENAME
  7. }
  8. FNR>1{
  9.     a[$1","$2","$3","$4][FILENAME]++
  10. }
  11. END{
  12.     for(i in a){
  13.         str=i
  14.         for(j in filelist){
  15.             str=str","(+a[i][filelist[j]])
  16.         }
  17.         print str
  18.     }
  19. }
  20. $ awk -f test.awk 1.txt 2.txt 3.txt
  21. 亚洲,中国,河北,石家庄,1,0,1
  22. 亚洲,中国,辽宁,沈阳,1,1,0
  23. 亚洲,中国,陕西,西安,2,1,2
  24. 亚洲,中国,宁夏,银川,1,1,0
  25. 亚洲,中国,甘肃,兰州,0,0,1
  26. 亚洲,中国,河南,郑州,0,1,0
复制代码

作者: csccyab    时间: 2019-01-31 10:26
本帖最后由 csccyab 于 2019-01-31 10:30 编辑

C++ 版本, 寫了這麼多, 不知樓主有沒有試



  1. #include <iostream>
  2. #include <map>
  3. #include <string>
  4. #include <iterator>
  5. #include <fstream>
  6. #include <regex>

  8. using namespace std;

  10. int main(int argc, char **argv){
  11.         map<string, int*> map1;
  12.         string line, firstline;
  13.         regex preg("(.+),.+");
  14.         smatch match;
  15.         map<string, int*>::iterator itr;
  16.         int linecount = 0;

  18.         for (int i=1; i<argc; ++i){
  19.                 linecount = 0;
  20.                 ifstream f(argv[i]);
  21.                 while (getline(f, line)){
  22.                         linecount++;
  23.                         if (linecount != 1){
  24.                                 if (regex_search(line, match, preg)){
  25.                                         if (map1.count(match.str(1)) == 0) {
  26.                                                 int *count = new int[argc-1]();
  27.                                                 map1[match.str(1)]=count;
  28.                                                 map1[match.str(1)][i-1]=1;
  29.                                         } else
  30.                                                 map1[match.str(1)][i-1]++;
  31.                                 }
  32.                         } else {
  33.                                 if (regex_search(line, match, preg))
  34.                                         firstline = match.str(1);
  35.                         }
  36.                 }
  37.                 f.close();
  38.         }

  40.         cout << firstline;
  41.         for (int i=1; i<argc; ++i)
  42.                 cout << "," << argv[i];
  43.         cout << endl;
  44.         for (itr=map1.begin(); itr!=map1.end(); itr++){
  45.                 cout << itr->first;
  46.                 for (int j=0; j<argc-1; j++)
  47.                         cout << "," << itr->second[j];
  48.                 cout << endl;
  49.         }
  50. }



复制代码




欢迎光临 Chinaunix (http://bbs.chinaunix.net/) Powered by Discuz! X3.2