如何判断一个文件中是否有重复单词

love100

如何判断一个文件中是否有重复单词?
如：
一个文件的内容如下：
ls      chage   alias   dmesg   chattr  dd      vi      bc      help    cmp     at      bunzip2 bg
cd      chfn    env     free    chgrp   df      vimtutor        expr    info    cut     atq     bzip2   fg
cp      chsh    export  fuser   chmod   edquota vim     wc      lpq     diff    atrm    gunzip  jobs
mv      groupadd        history halt    chown   fdisk   sed     chsum   lpr     du      batch   gzip    chkconfig
cat     groupdel        ldconfig        lsof    lsattr  mkfs    awk             lprm    emacs   cron    rar     init
rm      groupmod        set     reboot  umask   mount   grep            man     file    atd     tar     ntsysv
mkdir   id      soure   shutdown                quota   tail            whatis  locate  atrun   unrar   ps
rmdir   last    unalias slabtop         quotaon head                    uniq    crontab unzip   kill
clear   passwd  umount  sysctl          swapoff find                    which   date    zip     killall
pwd     pwck    exit    top             swapon  strings                 pico    cal     compress        sync
ln      su      enable  uname           umount  xargs                   sort    time    rpm     nohup
touch   useradd fc      uptime          fsck    tee                     md5sum  sleep   uncommpress     pkill
less    userdel unset   vmstat          fstab   whereis                 mksock  ac      sort
more    usermod                                 egrep                   mktemp          zcat
        w                                       fold                    mkfifo          bzcat
        who                                     fgrep                   unlink          tgz
                                                tr                      ldd
                                                                        access

zcat
        wee                                       fold                    mkfifo          bzcat
        whdo                                     fgdrep                   unlink          tgz
                                                tr                      ldd
                                                                        acdcess

waker

xargs -n1 <urfile |sort|uniq -d

love100

呵呵，谢谢了.

r2007

1. tr -cs '[:alnum:]' '[\n*]' <file|sort|uniq -c

复制代码

根据输出看看有没有重复的

waker的-d更省事

1. tr -cs '[:alnum:]' '[\n*]' <file|sort|uniq -d

复制代码

[ 本帖最后由 r2007 于 2006-11-15 11:55 编辑 ]

qqq112233g

1. xargs -n1 <cc.txt|awk 'word[$i]++'

复制代码

awk就是awp加ak

每行一个单词，然后判断有没有重复行。有没有换药的阿？