如何使用awk、sed等工具删选文本中相同的字符

chenduo911

给位前辈，晚生目前有一文本如下，其中每行的内容均可以看成是一封邮件主题，我需要筛选出相同的邮件主题并统计数量，请问使用sed、awk等工具应该如何展开思路？ 谢谢！




7083国际采购 与 进出口 贸 易 实 战15
企9业招8聘中的面g试时间安g排
7083国际采购 与 进出口 贸 易 实 战15
7083国际采购 与 进出口 贸 易 实 战15
企9业招8聘中的面g试时间安g排
企9业招8聘中的面g试时间安g排
FAILURE NOTICE
utfq 快 速 盈 利 实 战 网 络 营 销 训 练 班  ┍--林武宏
kqdk 新 法 下 的 人 力 资 源 管 理 制 度 设 计 与 风 险 规 避 ╞--魏生启
hmf0 快 速 盈 利 实 战 网 络 营 销 训 练 班  ō--孟颜嫒
hmf0 快 速 盈 利 实 战 网 络 营 销 训 练 班  ō--孟颜嫒
hmf0 快 速 盈 利 实 战 网 络 营 销 训 练 班  ō--孟颜嫒
企9业招8聘中的面g试时间安g排
utfq 快 速 盈 利 实 战 网 络 营 销 训 练 班  ┍--林武宏
gz1d 新 法 下 的 人 力 资 源 管 理 制 度 设 计 与 风 险 规 避 ⊿--何韬弘
销む售精英2天一夜疯♂狂训练-竺佩俊_olkwa
销む售精英2天一夜疯♂狂训练-竺佩俊_olkwa
kx2q ∽企业建立绩效体系所面临的问题如何解决？？--彭群玖
kx2q ∽企业建立绩效体系所面临的问题如何解决？？--彭群玖
kx2q ∽企业建立绩效体系所面临的问题如何解决？？--彭群玖
销む售精英2天一夜疯♂狂训练-竺佩俊_olkwa
kx2q ∽企业建立绩效体系所面临的问题如何解决？？--彭群玖
kx2q ∽企业建立绩效体系所面临的问题如何解决？？--彭群玖
slks 快 速 盈 利 实 战 网 络 营 销 训 练 班  ń--熊玲建
amnl ﹋企业建立绩效体系所面临的问题如何解决？？--刘香榭
slks 快 速 盈 利 实 战 网 络 营 销 训 练 班  ń--熊玲建
ijsp 新 法 下 的 人 力 资 源 管 理 制 度 设 计 与 风 险 规 避 ě--秦舒瑶
2646国际采购 与 进出口 贸 易 实 战89
企9业招8聘中的面g试时间安g排
xnpd ╫企业建立绩效体系所面临的问题如何解决？？--韦乐建
您发布的重复产品信息已被退回！（公司名称：Shenzhen_Canow_Technology_Co.,_Ltd.）
您发布的重复产品信息已被退回！（公司名称：Shenzhen_Canow_Technology_Co.,_Ltd.）
Re: (Zhaopin.com) 应聘 司机-长沙-周文华
3725国际采购 与 进出口 贸 易 实 战00
3725国际采购 与 进出口 贸 易 实 战00
l5en ┩企业建立绩效体系所面临的问题如何解决？？--潘运兴
l5en ┩企业建立绩效体系所面临的问题如何解决？？--潘运兴
销ハ售精英2天一夜疯ち狂训练-傅儒茜_tjdoy
l5en ┩企业建立绩效体系所面临的问题如何解决？？--潘运兴
l5en ┩企业建立绩效体系所面临的问题如何解决？？--潘运兴
销ハ售精英2天一夜疯ち狂训练-傅儒茜_tjdoy
销ハ售精英2天一夜疯ち狂训练-傅儒茜_tjdoy
tteo 新 法 下 的 人 力 资 源 管 理 制 度 设 计 与 风 险 规 避 Δ--薛程亮
销ハ售精英2天一夜疯ち狂训练-傅儒茜_tjdoy
答复: 1季度利乐审计
销ゎ售精英2天一夜疯ぬ狂训练-黎健铭_wrx3b
销ゎ售精英2天一夜疯ぬ狂训练-黎健铭_wrx3b
销ゎ售精英2天一夜疯ぬ狂训练-黎健铭_wrx3b
销ゎ售精英2天一夜疯ぬ狂训练-黎健铭_wrx3b
销ゎ售精英2天一夜疯ぬ狂训练-黎健铭_wrx3b
销ハ售精英2天一夜疯ち狂训练-傅儒茜_tjdoy
wdgw ╡企业建立绩效体系所面临的问题如何解决？？--杜慧克
提示：给力模式由你选择规则你懂的正式开始k8jWiViUgSfS1Q1
社区发送的惊喜60秒玩了就知道爽不爽8135791368
社区发送的惊喜60秒玩了就知道爽不爽8135791368
社区发送的惊喜60秒玩了就知道爽不爽8135791368
yananhan 穿越古代游戏你懂的不解释正式开始的n
社区发送的惊喜60秒玩了就知道爽不爽8135791368
社区发送的惊喜60秒玩了就知道爽不爽8135791368
ojgk 快 速 盈 利 实 战 网 络 营 销 训 练 班  の--钟涛芷
yananhan 穿越古代游戏你懂的不解释正式开始的n
提示：给力模式由你选择规则你懂的正式开始k8jWiViUgSfS1Q1
za4s 新 法 下 的 人 力 资 源 管 理 制 度 设 计 与 风 险 规 避 ╙--陈姝祉
zye4 新 法 下 的 人 力 资 源 管 理 制 度 设 计 与 风 险 规 避 の--薛仪逸
答复: 1季度利乐审计
已读: order
cofh 快 速 盈 利 实 战 网 络 营 销 训 练 班  ?--孙屹青
sevday 惊喜60秒玩了就知道爽不爽方式不变9
sevday 惊喜60秒玩了就知道爽不爽方式不变9
sevday 惊喜60秒玩了就知道爽不爽方式不变9
sevday 惊喜60秒玩了就知道爽不爽方式不变9
sevday 惊喜60秒玩了就知道爽不爽方式不变9
sevday 惊喜60秒玩了就知道爽不爽方式不变9
sevday 惊喜60秒玩了就知道爽不爽方式不变9
sevday 惊喜60秒玩了就知道爽不爽方式不变9
sevday 惊喜60秒玩了就知道爽不爽方式不变9
最流行的手机游戏(网页版)ftk
kgn7 快 速 盈 利 实 战 网 络 营 销 训 练 班  ▉--袁延科
2646国际采购 与 进出口 贸 易 实 战89
TheRichWorks.co.uk - May News
企H业如何在股i权激J励的同时设计限2制性条款

dzhxc

sort|uniq -c

dzhxc

刚才试了一下，
至少我的系统用 sort|uniq -c  支持不了中文……
坐等高人吧

dzhxc

好像可以了

1.   [root@bill ~]# LANGUAGE=C
   
2. [root@bill ~]# LANG=C
   
3. [root@bill ~]# echo "答复: 1季度利乐审
   
4. 计已读: order
   
5. cofh 快 速 盈 利 实 战 网 络 营 销 训 练 班  ?-孙屹?
   
6. 鄐evday 惊喜60秒玩了就知道爽不爽方式不变
   
7. 9sevday 惊喜60秒玩了就知道爽不爽方式不变
   
8. 9sevday 惊喜60秒玩了就知道爽不爽方式不变
   
9. 9sevday 惊喜60秒玩了就知道爽不爽方式不变
   
10. 9sevday 惊喜60秒玩了就知道爽不爽方式不变
    
11. 9sevday 惊喜60秒玩了就知道爽不爽方式不变
    
12. 9sevday 惊喜60秒玩了就知道爽不爽方式不变
    
13. 9sevday 惊喜60秒玩了就知道爽不爽方式不变
    
14. 9sevday 惊喜60秒玩了就知道爽不爽方式不变
    
15. 9最流行的手机游戏(网页版)ftk
    
16. "|sort |uniq -c
    
17.       1
    
18.       8 9sevday 惊喜60秒玩了就知道爽不爽方式不变
    
19.       1 9最流行的手机游戏(网页版)ftk
    
20.       1 cofh 快 速 盈 利 实 战 网 络 营 销 训 练 班  ?-孙屹?
    
21.       1 答复: 1季度利乐审
    
22.       1 计已读: order
    
23.       1 鄐evday 惊喜60秒玩了就知道爽不爽方式不变
    

复制代码

chenduo911

sort|uniq -c
dzhxc 发表于 2011-05-11 16:55

陷在awk和sed里忽略了系统自带的常用命令，感谢指点！

另外，还有一个比较棘手的字符截取和判断问题----可以看到在每一行的文字即为一封邮件标题，我编写脚本的目的也旨在找出外发的垃圾邮件来进行统计，问题是现在的垃圾邮件标题中首尾字符不同，导致实质相同的邮件经过筛选变成了不同邮件，以下是部分完整日志，可以看到全部的主题是在##主题##中的，我目前只是使用 grep "SUB:" |awk -F'##' '{print $2}' 来将##之间的主题筛选出来。

目前筛选出的结果大致如下所示，可以看到同一封垃圾邮件由于首尾字符不同无法被认定是同一封邮件

2 slks 快 速 盈 利 实 战 网 络 营 销 训 练 班  ń--熊玲建
2 utfq 快 速 盈 利 实 战 网 络 营 销 训 练 班  ┍--林武宏

5 销ハ售精英2天一夜疯ち狂训练-傅儒茜_tjdoy
3 销む售精英2天一夜疯♂狂训练-竺佩俊_olkwa
5 销ゎ售精英2天一夜疯ぬ狂训练-黎健铭_wrx3b

不知道大家是否还有更好的方法能够对筛选结果进行控制？ 还请大家多多发表思路啊！


May 10 00:42:37 2011 - 1304959357 deliver process 55051: REMOTE: Srder@bioxlhy.com B:218.244.129.126R B:218.244.129.126R C:218.106.248.51k R:emiratesgeepas@emirates.netk SUB:##za4s 新 法 下 的 人 力 资 源 管 理 制 度 设 计 与 风 险 规 避 ╙--陈姝祉##

May 10 00:42:47 2011 - 1304959367 deliver process 55051: REMOTE: Srder@bioxlhy.com B:218.244.129.126R B:218.244.129.126R C:218.106.248.51k R:emiratesgodrejdb@emirates.netk SUB:##zye4 新 法 下 的 人 力 资 源 管 理 制 度 设 计 与 风 险 规 避 の--薛仪逸##


za4s 新 法 下 的 人 力 资 源 管 理 制 度 设 计 与 风 险 规 避 ╙--陈姝祉
zye4 新 法 下 的 人 力 资 源 管 理 制 度 设 计 与 风 险 规 避 の--薛仪逸


May 10 00:21:34 2011 - 1304958094 deliver process 40188: REMOTE: S:dq@dqnyzy.com B:218.244.129.126R C:218.244.129.131 R:chairman@shishengpg.com SUB:##销ゎ售精英2天一夜疯ぬ狂训练-黎健铭_wrx3b##
May 10 00:21:35 2011 - 1304958095 deliver process 50106: REMOTE: S:dq@dqnyzy.com B:218.244.129.126R C:61.136.62.79k R:chaifei@eyou.comk SUB:##销ゎ售精英2天一夜疯ぬ狂训练-黎健铭_wrx3b##
May 10 00:21:35 2011 - 1304958095 deliver process 50107: REMOTE: S:dq@dqnyzy.com B:218.244.129.126R C:59.39.71.13:K B:218.244.129.126R C:218.106.248.51k R:chairman@shundegcc.comk SUB:##销ゎ售精英2天一夜疯ぬ狂训练-黎健铭_wrx3b##
May 10 00:21:36 2011 - 1304958096 deliver process 40193: REMOTE: S:dq@dqnyzy.com B:218.244.129.126R C:115.47.128.32 R:chaishoufeng@onchina.com.cn SUB:##销ゎ售精英2天一夜疯ぬ狂训练-黎健铭_wrx3b##
May 10 00:21:36 2011 - 1304958096 deliver process 41919: REMOTE: S:dq@dqnyzy.com B:218.244.129.126R C:211.167.250.124:ok R:chaitong@ciec-expo.com:ok SUB:##销ゎ售精英2天一夜疯ぬ狂训练-黎健铭_wrx3b##

May 10 00:21:30 2011 - 1304958090 deliver process 44976: REMOTE: S:dq@dqnyzy.com B:218.244.129.126R C:220.181.12.72:ok R:Chaileyliu@163.com:ok SUB:##销ハ售精英2天一夜疯ち狂训练-傅儒茜_tjdoy##
May 10 00:21:30 2011 - 1304958090 deliver process 44971: REMOTE: S:dq@dqnyzy.com B:218.244.129.126R C:202.108.3.153:ok R:chaihao@vip.sina.com:ok R:chaing@vip.sina.com:ok R:chainva@vip.sina.com:ok SUB:##销ハ售精英2天一夜疯ち狂训练-傅儒茜_tjdoy##
May 10 00:21:31 2011 - 1304958091 deliver process 40191: REMOTE: S:dq@dqnyzy.com B:218.244.129.126R C:183.60.62.13:ok R:chain7-360@foxmail.com:ok SUB:##销ハ售精英2天一夜疯ち狂训练-傅儒茜_tjdoy##
May 10 00:21:32 2011 - 1304958092 deliver process 50106: REMOTE: S:dq@dqnyzy.com B:218.244.129.126R C:123.100.7.71:ok R:chain@cnchanran.com:ok SUB:##销ハ售精英2天一夜疯ち狂训练-傅儒茜_tjdoy##
May 10 00:21:36 2011 - 1304958096 deliver process 44996: REMOTE: S:dq@dqnyzy.com B:218.244.129.126R C:195.50.106.142:ok R:chaim@btinternet.com:ok SUB:##销ハ售精英2天一夜疯ち狂训练-傅儒茜_tjdoy##


销ゎ售精英2天一夜疯ぬ狂训练-黎健铭_wrx3b
销ハ售精英2天一夜疯ち狂训练-傅儒茜_tjdoy

lilyadcms03

晕倒，大哥，你写小说呢

linzhiyue

这个例子很有启发，呵呵。
莫陷于某些特殊的工具了。

ywlscpl

za4s 新 法 下 的 人 力 资 源 管 理 制 度 设 计 与 风 险 规 避 ╙--陈姝祉
zye4 新 法 下 的 人 力 资 源 管 理 制 度 设 计 与 风 险 规 避 の--薛仪逸


两条记录想要判断是否共同拥有相同的字符串，可是没那么简单的

如以上共同拥有的：新 法 下 的 人 力 资 源 管 理 制 度 设 计 与 风 险 规 避

南极雨

linux 不喜欢中文...