Chinaunix

标题: 【求助】三个文本处理的问题 [打印本页]

作者: ICrazyBox 时间: 2013-08-14 18:20
标题: 【求助】三个文本处理的问题
本人初学这门课，遇到很多问题搞不懂，希望各位大神给与解答～～

【Q1】如何实现文本中删除指定的字符？
例如：
xxx -c aeiou xx.txt #删除txt中所有的a,e,i,o,u

【Q2】uniq删除的都是比较单纯的重复行或者是忽略几个字符

但是如何把：
in what I said! "Twaddle!", you say? I'll have you know
"Twaddle!", you say? I'll have you know
there's a deep truth
in what I said! there's a deep truth
变成：
"Twaddle!", you say? I'll have you know
in what I said! there's a deep truth
菜鸟表示完全没有思路、、

【Q3】在忽略大小写的情况下如何检查并输出拼写错误的词汇
我记得unix下有个online-dictionary但是真不知道怎麽用、
例’： Im not
certin
mouses
or
catsll
pass
fael

输出：
Im certin
mouses catsll
fael

作者: cao627 时间: 2013-08-14 18:29
q1

$ echo "xxx -c aeiou xx.txt" | tr -d 'uoiea'
xxx -c xx.txt

复制代码

q2 没看懂

Q3 首先要有字典，对文件中的每个单词在字典中检索，检索不到输出。

作者: ICrazyBox 时间: 2013-08-14 18:55
【Q1】
如果要求必须按照: sh xxx -c aeiou filename 这种形式来执行，那么在shell script xxx中应该怎麽写呢？

【Q2】
是我自己突发奇想，我也不知道能不能实现。
大意：第n行是第m行的一部分，那么就保留m行，删除第n行

【Q3】
字典是个什么样的文件？如果我找到了应该怎麽调用呢？

非常感谢之前的解答回复 2# cao627

作者: spiraspera 时间: 2013-08-14 19:09
回复 2# cao627
第二题应该是这样的，删除第一次匹配的行，匹配到 in what I said! 和 there's a deep truth

作者: ICrazyBox 时间: 2013-08-14 19:16
我看到了一个题目要求去除重复
in what I said!
"Twaddle!", you say? I'll have you know
"Twaddle!", you say? I'll have you know
there's a deep truth
in what I said!
there's a deep truth

执行后：
"Twaddle!", you say? I'll have you know
in what I said!
there's a deep truth

为什麽我执行后是?
in what I said!
there's a deep truth
"Twaddle!", you say? I'll have you know

我用的： cat filename | sort -d -u

spiraspera 发表于 2013-08-14 19:09
回复 2# cao627
第二题应该是这样的，删除第一次匹配的行，匹配到 in what I said! 和 there's a deep t ...

作者: cao627 时间: 2013-08-14 21:02

【Q2】
是我自己突发奇想，我也不知道能不能实现。
大意：第n行是第m行的一部分，那么就保留m行，删除第n行

但是如何把：
      in what I said! "Twaddle!", you say? I'll have you know
      "Twaddle!", you say? I'll have you know
      there's a deep truth
      in what I said! there's a deep truth
变成：
      "Twaddle!", you say? I'll have you know
      in what I said! there's a deep truth
菜鸟表示完全没有思路、

"Twaddle!", you say? I'll have you know 怎么没有删除？它不是in what I said! "Twaddle!", you say? I'll have you know的一部分吗？

$ awk '{a[NR]=$0;b[NR]=$0}END{for(i=1;i<=NR;i++)for(j=1;j<=NR;j++)if(i!=j && index(b[j],a[i])){delete a[i];break};for(i in a)print a[i]}' file
in what I said! there's a deep truth
in what I said! "Twaddle!", you say? I'll have you know

复制代码

【Q3】
字典是个什么样的文件？如果我找到了应该怎麽调用呢？

字典就是你要求的所有合法单词的集合。

作者: ICrazyBox 时间: 2013-08-15 12:19
我看到了一个题目要求去除重复
in what I said!
"Twaddle!", you say? I'll have you know
"Twaddle!", you say? I'll have you know
there's a deep truth
in what I said!
there's a deep truth

执行后：
"Twaddle!", you say? I'll have you know
in what I said!
there's a deep truth

为什麽我执行后是?
in what I said!
there's a deep truth
"Twaddle!", you say? I'll have you know

我用的： cat filename | sort -d -u
回复 6# cao627

作者: Shell_HAT 时间: 2013-08-16 10:35
回复 7# ICrazyBox

因为那个题目的作者用了一种比较愚蠢的方法：

awk '{a[$0]++}END{for(i in a)if(a[i]>1)print i}' urfile

复制代码

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)