关于sort或者awk合并文件

xiachunmen

现在我某个目录下有100个文本文件
要把这100个文件合并  用sort或者awk都可以
用   awk '!a[$0]++' a.txt b.txt c.txt    一个个输入文件名太慢了  而且容易出错
有什么办法能直接合并整个文件夹下的所有文件啊？？

我是DBA

cat * >>test  2>/dev/null

xiachunmen

2楼 的AWK和我写的有什么区别么
3楼没看懂

我是DBA

就是把当前文件夹下的所有文件合并到一个文件test里面去啊。如果文件下有文件夹就会报错，所以把报错扔掉。

xiachunmen

cat * >>test  2>/dev/null
*的地方就是我的文件夹名？
然后*这个文件夹下的所有的文件都会合并到test去了？
是这个意思么？

ywlscpl

awk '!a[$0]++'

文件内容中重复的行要去掉？？

我是DBA

你在当前文件夹下，直接输入这个命令就可以，不用改什么。
*表示通配

kwokcn

只是合并的话：

1. 
   
2. [root@bj_manager data]# time cat txt/* >merge 2>/dev/null
   
3. 
   
4. real    0m11.244s
   
5. user    0m0.058s
   
6. sys     0m1.620s
   
7. 
   
8. [root@bj_manager data]# time awk '{print >> "merge2"}' txt/*
   
9. 
   
10. real    0m2.620s
    
11. user    0m1.076s
    
12. sys     0m1.375s
    
13. 
    

复制代码

xiachunmen

回7楼  awk合并少量的文件我会了
但是现在要100个文件  ....是在有点
重复行还是要去掉的