提取大文件的某一列

yiyeguhong

我通过文件合并得到了一个很大的文件，大概有7~8G，数据量很大，而我只想提取出某一列来进行处理。
我原先的想法是通过 awk 提取出这个文件的某一列，然后再处理，但是由于文件太大，使用 awk 提取列的时候花费的时间太长了，过了20多分钟都没有结束。
我想问一下，在shell中，除了 awk 可以提取某一列外，是不是没有别的工具或命令了啊？
谢谢！

zhuyubei

cut 命令可以

zhuyubei

刚查了下

cut -d'分割符' -f 第几列

yy_galois

我奇怪的是什么样的文本能有7,8G那么大。

zhuyubei

不过你试下这个cut效率如何？

zhuyubei

7,8G应该也是正常范围吧

小木虫子

原帖由 yy_galois 于 2009-8-6 10:13 发表
我奇怪的是什么样的文本能有7,8G那么大。

手机号码。

blackold

awk的效率也没有这么差吧。是不是命令有问题？

yy_galois

一个人的全部信息，包括出生年月，籍贯，手机号码，学习工作经历等，最多大概也就是1k。
7，8G就等于大约 0.1亿人口的全部信息。这么多人口的信息怎么掌握在你手中，就算是一条信息买1毛钱，那也有100万，你岂不发了，还做程序员干嘛？

我是DBA

导入数据库、建索引查询