Chinaunix

标题: shell基础二十篇 [打印本页]
作者: wingger    时间: 2004-11-26 10:16
标题: shell基础二十篇
本帖最后由 rdcwayx 于 2012-05-03 10:01 编辑

编者按：由 wingger  整理的　shell基础十二篇 以及L_kernel补充的第十三——二十篇，涉及shell　编程及使用的各个方面，又附有大量的例子，极适合初学者系统学习。如果配合網中人的shell 十三問? ，效果更加明显。

这里是其中的第十章 sed.  其他各章可察看相应的 link. 　

shell基础1：文件安全与权限
http://bbs.chinaunix.net/thread-434579-1-1.html

附：Linux的用户和用户组管理
http://bbs.chinaunix.net/thread-438660-1-1.html

shell基础二：查找技巧,find及xargs的使用
http://bbs.chinaunix.net/thread-441883-1-1.html

shell基础三和四：后台(crontab,at,&,nohup)及(*,?,[]等)
http://bbs.chinaunix.net/thread-442596-1-1.html

shell基础五：输入和输出(echo,read,cat,管道,tee,重定向等)
http://bbs.chinaunix.net/thread-444209-1-1.html

shell基础六七：命令执行顺序(||及&&，{}及())和正则表?
http://bbs.chinaunix.net/thread-445229-1-1.html

shell基础八：文本过滤工具（grep）
http://bbs.chinaunix.net/thread-446683-1-1.html

shell基础九：awk
http://bbs.chinaunix.net/thread-448687-1-1.html

shell基础十：sed
http://bbs.chinaunix.net/thread-452942-1-1.html

shell基础11：文件分类、合并和分割(sort,uniq,join,cut,paste,split)
http://bbs.chinaunix.net/thread-457730-1-1.html

shell基础十二:tr
http://bbs.chinaunix.net/thread-459099-1-1.html

感谢L_kernel补充的第十三——二十篇（cjaizss添加）
shell基础第十三篇-登录环境
http://bbs.chinaunix.net/thread-1820174-1-1.html

shell基础第十四篇-环境和shell变量
http://bbs.chinaunix.net/thread-1820194-1-1.html

shell基础第十五篇-引号
http://bbs.chinaunix.net/thread-1820220-1-1.html

shell基础第十六篇-shell脚本介绍
http://bbs.chinaunix.net/thread-1820301-1-1.html

shell基础学习第十七篇-条件测试
http://bbs.chinaunix.net/thread-1820304-1-1.html

shell基础第十八篇-控制流结构
http://bbs.chinaunix.net/thread-1820329-1-1.html

shell学习基础第十九篇-shell函数
http://bbs.chinaunix.net/thread-1820454-1-1.html

shell基础学习第二十篇-向脚本传递参数
http://bbs.chinaunix.net/thread-1823335-1-1.html

其它我的笔记都在我的BLOG上，呵呵，有兴趣的可以去看看

shell基础十：sed


sed 用法介绍

s e d是一个非交互性文本流编辑器。它编辑文件或标准输入导出的文本拷贝。

" 抽取域。
" 匹配正则表达式。
" 比较域。
" 增加、附加、替换。
" 基本的s e d命令和一行脚本。


可以在命令行输入s e d命令，也可以在一个文件中写入命令，然后调用s e d，这与a w k基本相同。使用s e d需要记住的一个重要事实是，无论命令是什么， s e d并不与初始化文件打交道，它操作的只是一个拷贝，然后所有的改动如果没有重定向到一个文件，将输出到屏幕。

因为s e d是一个非交互性编辑器，必须通过行号或正则表达式指定要改变的文本行。
本文介绍s e d用法和功能。本章大多编写的是一行命令和小脚本。这样做可以慢慢加深对s e d用法的了解，取得宝贵的经验，以便最终自己编出大的复杂s e d脚本。
和g r e p与a w k一样， s e d是一种重要的文本过滤工具，或者使用一行命令或者使用管道与g r e p与a w k相结合。

1 sed怎样读取数据

s e d从文件的一个文本行或从标准输入的几种格式中读取数据，将之拷贝到一个编辑缓冲区，然后读命令行或脚本的第一条命令，并使用这些命令查找模式或定位行号编辑它。重复此过程直到命令结束。

2 调用sed

调用s e d有三种方式：在命令行键入命令；将s e d命令插入脚本文件，然后调用s e d；将s e d命令插入脚本文件，并使s e d脚本可执行。

使用s e d命令行格式为：
  1. sed [选项] s e d命令输入文件。
复制代码
记住在命令行使用s e d命令时，实际命令要加单引号。s e d也允许加双引号。

使用s e d脚本文件，格式为：
  1. sed [选项] -f sed脚本文件输入文件
复制代码
要使用第一行具有s e d命令解释器的s e d脚本文件，其格式为：
  1. s e d脚本文件[选项] 输入文件
复制代码
不管是使用s h e l l命令行方式或脚本文件方式，如果没有指定输入文件， s e d从标准输入中接受输入，一般是键盘或重定向结果。

s e d选项如下：
n 不打印；s e d不写编辑行到标准输出，缺省为打印所有行（编辑和未编辑）。p命令可以用来打印编辑行。
c 下一命令是编辑命令。使用多项编辑时加入此选项。如果只用到一条s e d命令，此选项无用，但指定它也没有关系。
f 如果正在调用s e d脚本文件，使用此选项。此选项通知s e d一个脚本文件支持所有的s e d命令，例如：sed -f myscript.sed input_file，这里m y s c r i p t . s e d即为支持s e d命令的文件。


2.1 保存sed输出
由于不接触初始化文件，如果想要保存改动内容，简单地将所有输出重定向到一个文件即可。下面的例子重定向s e d命令的所有输出至文件‘ m y o u t f i l e’，当对结果很满意时使用这种方法。
  1. $sed 'some-sed-commands' input-file > myoutfile
复制代码
2.2 使用sed在文件中查询文本的方式
s e d浏览输入文件时，缺省从第一行开始，有两种方式定位文本：
1) 使用行号，可以是一个简单数字，或是一个行号范围。
2 ) 使用正则表达式


下面是使用s e d定位文本的一些方式。
  1. x x为一行号，如1
  2. x , y 表示行号范围从x到y，如2，5表示从第2行到第5行
  3. / p a t t e r n / 查询包含模式的行。例如/ d i s k /或/[a-z]/
  4. / p a t t e r n / p a t t e r n / 查询包含两个模式的行。例如/ d i s k / d i s k s /
  5. p a t t e r n / , x 在给定行号上查询包含模式的行。如/ r i b b o n / , 3
  6. x , / p a t t e r n / 通过行号和模式查询匹配行。3 . / v d u /
  7. x , y ! 查询不包含指定行号x和y的行。1 , 2 !
复制代码
2.3 基本sed编辑命令
  1. sed编辑命令
  2. p 打印匹配行
  3. = 显示文件行号
  4. a \ 在定位行号后附加新文本信息
  5. i \ 在定位行号后插入新文本信息
  6. d 删除定位行
  7. c \ 用新文本替换定位文本
  8. s 使用替换模式替换相应模式
  9. r 从另一个文件中读文本
  10. w 写文本到一个文件
  11. q 第一个模式匹配完成后推出或立即推出
  12. l 显示与八进制A S C I I代码等价的控制字符
  13. { } 在定位行执行的命令组
  14. n 从另一个文件中读文本下一行，并附加在下一行
  15. g 将模式2粘贴到/pattern n/
  16. y 传送字符
  17. n 延续到下一输入行；允许跨行的模式匹配语句
复制代码
sed和正则表达式

s e d识别任何基本正则表达式和模式及其行匹配规则。记住规则之一是：如果要定位一特殊字符，必须使用（ \）屏蔽其特殊含义

[ 本帖最后由 mocou 于 2005-11-18 14:40 编辑 ]
作者: wingger    时间: 2004-11-26 11:13
标题: shell基础十二篇
s e d例子中使用下述文本文件q u o t e . t x t。
  1. [sam@Linux_chenwy sam]$ cat quote.txt
  2. The honeysuckle band played all night long for only $90.
  3. It was an evening of splendid music and company.
  4. Too bad the disco floor fell through at 23:00.
  5. The local nurse Miss P.Neave was in attendance.
复制代码


1 使用p（rint）显示行
只打印第二行，用-n
  1. [sam@Linux_chenwy sam]$ sed -n '2p' quote.txt
  2. It was an evening of splendid music and company.
复制代码


2 打印范围
可以指定行的范围，现打印1到3行，用逗号分隔行号。
  1. [sam@Linux_chenwy sam]$ sed -n '1,3p' quote.txt
  2. The honeysuckle band played all night long for only $90.
  3. It was an evening of splendid music and company.
  4. Too bad the disco floor fell through at 23:00.
复制代码


3 打印模式
假定要匹配单词N e a v e，并打印此行，方法如下。使用模式/ p a t t e r n /格式，这里为/ N e a v e /。
  1. [sam@Linux_chenwy sam]$ sed -n '/The/p' quote.txt
  2. The honeysuckle band played all night long for only $90.
  3. The local nurse Miss P.Neave was in attendance.
复制代码


4 使用模式和行号进行查询
可以将行号和模式结合使用。假定要改动文件q u o t e . t x t最后一行中的单词t h e，使用s e d查询t h e，返回两行：
  1. [sam@Linux_chenwy sam]$ sed -n '/The/p' quote.txt
  2. The honeysuckle band played all night long for only $90.
  3. The local nurse Miss P.Neave was in attendance.
复制代码


使用模式与行号的混合方式可以剔除第一行，格式为l i n e _ n u m b e r, / p a t t e r n /。逗号用来分隔行号与模式开始部分。为达到预期结果，使用4 , / t h e /。意即只在第四行查询模式t h e，命令如下：
  1. [sam@Linux_chenwy sam]$ sed -n '4,/The/p' quote.txt
  2. The local nurse Miss P.Neave was in attendance.
复制代码

上面有错，其实是把第四行后的都打出来了
这个模式应该哪果指定行找不到符合条件的，就从下一行开始查找，直到找到为止，并把，找到行之前的全部打打印出来。
如果指定行本身就符合条伯，把本行及后面的行的全部打印出来


5 匹配元字符
匹配元字符$前，必须使用反斜线\屏蔽其特殊含义。模式为/\$/ p。
  1. [sam@Linux_chenwy sam]$ sed -n '/\$/p' quote.txt
  2. The honeysuckle band played all night long for only $90.
复制代码


6 显示整个文件
要打印整个文件，只需将行范围设为第一行到最后一行1 , $。$意为最后一行。
  1. [sam@Linux_chenwy sam]$ sed -n '1,$p' quote.txt
  2. The honeysuckle band played all night long for only $90.
  3. It was an evening of splendid music and company.
  4. Too bad the disco floor fell through at 23:00.
  5. The local nurse Miss P.Neave was in attendance.
复制代码


7 任意字符
匹配任意字母，后跟任意字母的0次或多次重复，并以i n g结尾，模式为/ . * i n g /。可以使用这个模式查询以i n g结尾的任意单词。
  1. [sam@Linux_chenwy sam]$ sed -n '/.*ing/p' quote.txt
  2. It was an evening of splendid music and company.
复制代码


8 首行
要打印文件第一行，使用行号：
  1. [sam@Linux_chenwy sam]$ sed -n '1p' quote.txt
  2. The honeysuckle band played all night long for only $90.
复制代码


9 最后一行
要打印最后一行，使用$。$是代表最后一行的元字符。
  1. [sam@Linux_chenwy sam]$ sed -n '$p' quote.txt
  2. The local nurse Miss P.Neave was in attendance.
复制代码


10 打印行号
要打印行号，使用等号=。打印模式匹配的行号，使用格式/ p a t t e r n / =。
  1. [sam@Linux_chenwy sam]$ sed -e '/music/=' quote.txt
  2. The honeysuckle band played all night long for only $90.
  3. 2
  4. It was an evening of splendid music and company.
  5. Too bad the disco floor fell through at 23:00.
  6. The local nurse Miss P.Neave was in attendance.
复制代码


整个文件都打印出来，并且匹配行打印了行号。如果只关心实际行号，使用- e选项。
  1. [sam@Linux_chenwy sam]$ sed -n '/music/=' quote.txt
  2. 2
复制代码


如果只打印行号及匹配行，必须使用两个s e d命令，并使用e选项。第一个命令打印模式匹配行，第二个使用=选项打印行号，格式为sed -n -e /pattern/p -e /pattern/=
  1. [sam@Linux_chenwy sam]$ sed -n -e '/music/p' -e '/music/='  quote.txt
  2. It was an evening of splendid music and company.
  3. 2
复制代码
作者: 寂寞烈火    时间: 2004-11-26 12:30
标题: shell基础十二篇
终于等到sed啦,好好学学
P.S:新版本的sed(GNU sed version 4.0.5)带有-i选项,允许直接编辑修改文件内容而不需要重定向到临时文件
例如:
/home/lee#cat file
old
abc
/home/lee#sed -i 's/old/new/' file
/home/lee#cat file
new
abc
作者: wingger    时间: 2004-11-26 14:29
标题: shell基础十二篇
原帖由 "寂寞烈火" 发表：
终于等到sed啦,好好学学
P.S:新版本的sed(GNU sed version 4.0.5)带有-i选项,允许直接编辑修改文件内容而不需要重定向到临时文件
例如:
/home/lee#cat file
old
abc
/home/lee#sed -i 's/old/new/' file
/..........


这个不错，呵呵，
作者: 双眼皮的猪    时间: 2004-11-26 16:02
标题: shell基础十二篇
可等到wingger JJ的Sed啦...多教我哦...
作者: wingger    时间: 2004-11-26 16:13
标题: shell基础十二篇
[quote]原帖由 "双眼皮的猪"]可等到wingger JJ的Sed啦...多教我哦...[/quote 发表：


     等着别人教俺

11 附加文本

要附加文本，使用符号a \，可以将指定文本一行或多行附加到指定行。如果不指定文本放置位置， s e d缺省放在每一行后面。附加文本时不能指定范围，只允许一个地址模式。文本附加操作时，结果输出在标准输出上。注意它不能被编辑，因为s e d执行时，首先将文件的一行文本拷贝至缓冲区，在这里s e d编辑命令执行所有操作（不是在初始文件上），因为文本直接输出到标准输出，s e d并无拷贝。
要想在附加操作后编辑文本，必须保存文件，然后运行另一个s e d命令编辑它。这时文件的内容又被移至缓冲区。
附加操作格式如下：
  1. [address]a\
  2. text\
  3. text\
  4. ......
  5. text
复制代码


地址指定一个模式或行号，定位新文本附加位置。a\ 通知s e d对a \后的文本进行实际附加操作。观察格式，注意每一行后面有一斜划线，这个斜划线代表换行。s e d执行到这儿，将创建一新行，然后插入下一文本行。最后一行不加斜划线， s e d假定这是附加命令结尾。

当附加或插入文本或键入几个s e d命令时，可以利用辅助的s h e l l提示符以输入多行命令。当附加或插入文本或键入几个s e d命令时，可以利用辅助的s h e l l提示符以输入多行命令。
作者: 寂寞烈火    时间: 2004-11-26 16:35
标题: shell基础十二篇
文革MM的学习精神深深感染了大家!向文革MM致敬!
作者: wingger    时间: 2004-11-27 14:15
标题: shell基础十二篇
http://www.chinalinuxpub.com/doc/oreillybookself/unix/sedawk/index.htm

这个不错哦，awk&sed,嘻嘻
作者: wingger    时间: 2004-11-27 17:25
标题: shell基础十二篇
创建sed脚本文件

创建脚本文件a p p e n d . s e d：
第一行是s e d命令解释行。脚本在这一行查找s e d以运行命令，这里定位在/ b i n。
第二行以/ c o m p a n y /开始，这是附加操作起始位置。a \通知s e d这是一个附加操作，首先应插入一个新行。
第三行是附加操作要加入到拷贝的实际文本。
输出显示附加结果。如果要保存输出，重定向到一个文件。
  1. [sam@chenwy sam]$ cat append.sed
  2. #!/bin/sed -f
  3. /company/ a\
  4. Then suddenly it happed.
复制代码

保存它，增加可执行权限,运行

  1. [sam@chenwy sam]chmod u+x append.sed
  2. [sam@chenwy sam]$ ./append.sed quote.txt
  3. The honeysuckle band played all night long for only $90.
  4. It was an evening of splendid music and company.
  5. Then suddenly it happed.
  6. Too bad the disco floor fell through at 23:00.
  7. The local nurse Miss P.Neave was in attendance.
复制代码


或直接用命令行：
  1. [sam@chenwy sam]$ sed "/company/a\Then suddenly it happened." quote.txt
  2. The honeysuckle band played all night long for only $90.
  3. It was an evening of splendid music and company.
  4. Then suddenly it happened.
  5. Too bad the disco floor fell through at 23:00.
  6. The local nurse Miss P.Neave was in attendance.
复制代码



[sam@chenwy sam]$ sed "/company/i\utter confusion followed." quote.txt
The honeysuckle band played all night long for only $90.
utter confusion followed.
It was an evening of splendid music and company.
Too bad the disco floor fell through at 23:00.
The local nurse Miss P.Neave was in attendance.

插入文本：
插入命令类似于附加命令，只是在指定行前面插入。和附加命令一样，它也只接受一个地址。
如在a t t e n d a n c e结尾的行前插入文本utter confusion followed。
  1. [sam@chenwy sam]$ sed "/company/i\Utter confusion followed." quote.txt
复制代码


也可以指定行：
  1. [sam@chenwy sam]$ cat insert.sed
  2. #!/bin/sed -f
  3. 4 i\
  4. Utter confusion followed.
复制代码


执行结果
  1. [sam@chenwy sam]$ chmod u+x insert.sed
  2. [sam@chenwy sam]$ ./insert.sed quote.txt
  3. The honeysuckle band played all night long for only $90.
  4. It was an evening of splendid music and company.
  5. Too bad the disco floor fell through at 23:00.
  6. Utter confusion followed.
  7. The local nurse Miss P.Neave was in attendance.
复制代码


修改文本
修改命令将在匹配模式空间的指定行用新文本加以替代，格式如下：
将第一行The honeysuckle band played all night long for only $90替换为The office Di b b l e  band played well。首先要匹配第一行的任何部分，可使用模式‘ / H o n e y s u c k l e /’。s e d脚本文件为c h a n g e . s e d。内容如下：
  1. [sam@chenwy sam]$ cat change.sed
  2. #!/bin/sed -f
  3. 3 c\
  4. The office Dibble band played well.
复制代码

  1. [sam@chenwy sam]$ chmod u+x change.sed
  2. [sam@chenwy sam]$ ./change.sed quote.txt
  3. The honeysuckle band played all night long for only $90.
  4. It was an evening of splendid music and company.
  5. The office Dibble band played well.
  6. The local nurse Miss P.Neave was in attendance.
复制代码


或命令行：
  1. [sam@chenwy sam]$ sed "/honeysuck/c\The Office Dibble band played well." quote.txt
  2. The Office Dibble band played well.
  3. It was an evening of splendid music and company.
  4. Too bad the disco floor fell through at 23:00.
  5. The local nurse Miss P.Neave was in attendance.
复制代码


可以对同一个脚本中的相同文件进行修改、附加、插入三种动作匹配和混合操作。
  1. [sam@chenwy sam]$ cat mix.sed
  2. #!/bin/sed -f
  3. 1 c\
  4. The Dibble band were grooving.

  6. /evening/ i\
  7. They played some great tunes.

  9. 3 a\
  10. Where was the nurse to help?
复制代码

  1. [sam@chenwy sam]$ chmod u+x mix.sed
  2. [sam@chenwy sam]$ ./mix.sed quote.txt
  3. The Dibble band were grooving.
  4. They played some great tunes.
  5. It was an evening of splendid music and company.
  6. Too bad the disco floor fell through at 23:00.
  7. Where was the nurse to help?
  8. The local nurse Miss P.Neave was in attendance.
复制代码


删除文本
s e d删除文本格式：
  1. [ a d d r e s s [，a d d r e s s ] ] d
复制代码


删除第一行；1 d意为删除第一行。
  1. [sam@chenwy sam]$ sed '1d' quote.txt
  2. It was an evening of splendid music and company.
  3. Too bad the disco floor fell through at 23:00.
  4. The local nurse Miss P.Neave was in attendance.
复制代码


删除第一到第三行：
  1. [sam@chenwy sam]$ sed '1,3d' quote.txt
  2. The local nurse Miss P.Neave was in attendance.
复制代码


删除最后一行：
  1. [sam@chenwy sam]$ sed '$d' quote.txt
  2. The honeysuckle band played all night long for only $90.
  3. It was an evening of splendid music and company.
  4. Too bad the disco floor fell through at 23:00.
复制代码


也可以使用正则表达式进行删除操作。下面的例子删除包含文本‘ N e a v e’的行。
  1. [sam@chenwy sam]$ sed '/Neave/d' quote.txt
  2. The honeysuckle band played all night long for only $90.
  3. It was an evening of splendid music and company.
  4. Too bad the disco floor fell through at 23:00.
复制代码


替换文本
替换命令用替换模式替换指定模式，格式为：
  1. [ a d d r e s s [，address]] s/ pattern-to-find /replacement-pattern/[g p w n]
复制代码

s选项通知s e d这是一个替换操作，并查询p a t t e r n - t o - f i n d，成功后用r e p l a c e m e n t - p a t t e r n替换它。
替换选项如下：

g 缺省情况下只替换第一次出现模式，使用g选项替换全局所有出现模式。
p 缺省s e d将所有被替换行写入标准输出，加p选项将使- n选项无效。- n选项不打印输出结果。
w 文件名使用此选项将输出定向到一个文件。


如替换n i g h t为N I G H T，首先查询模式n i g h t，然后用文本N I G H T替换它。
  1. [sam@chenwy sam]$ sed 's/night/NIGHT/' quote.txt
  2. The honeysuckle band played all NIGHT long for only $90.
  3. It was an evening of splendid music and company.
  4. Too bad the disco floor fell through at 23:00.
  5. The local nurse Miss P.Neave was in attendance.
复制代码


要从$ 9 0 中删除$ 符号（记住这是一个特殊符号，必须用\ 屏蔽其特殊含义），在r e p l a c e m e n t - p a t t e r n部分不写任何东西，保留空白，但仍需要用斜线括起来。在s e d中也可以这样删除一个字符串。
  1. [sam@chenwy sam]$ sed 's/\$//' quote.txt
  2. The honeysuckle band played all night long for only 90.
  3. It was an evening of splendid music and company.
  4. Too bad the disco floor fell through at 23:00.
  5. The local nurse Miss P.Neave was in attendance.
复制代码


要进行全局替换，即替换所有出现模式，只需在命令后加g选项。下面的例子将所有T h e替换成Wo w！。
  1. [sam@chenwy sam]$ sed 's/The/Wow!/g' quote.txt
  2. Wow! honeysuckle band played all night long for only $90.
  3. It was an evening of splendid music and company.
  4. Too bad the disco floor fell through at 23:00.
  5. Wow! local nurse Miss P.Neave was in attendance.
复制代码


将替换结果写入一个文件用w选项，下面的例子将s p l e n d i d替换为S P L E N D I D的替换结果写入文件s e d . o u t：
  1. [sam@chenwy sam]$ sed 's/splendid/SPLENDID/w sed.out' quote.txt
  2. The honeysuckle band played all night long for only $90.
  3. It was an evening of SPLENDID music and company.
  4. Too bad the disco floor fell through at 23:00.
  5. The local nurse Miss P.Neave was in attendance.
复制代码


注意要将文件名括在s e d的单引号里。文件结果如下：
  1. [sam@chenwy sam]$ cat sed.out
  2. It was an evening of SPLENDID music and company.
复制代码
作者: 零二年的夏天    时间: 2004-11-28 14:55
标题: shell基础十二篇
佩服，佩服！
以后要向你多请教。
作者: wingger    时间: 2004-11-28 15:05
标题: shell基础十二篇
原帖由 "零二年的夏天" 发表：
佩服，佩服！
以后要向你多请教。


不敢不敢，呵呵，我得向几位学习，sed的用法在那书上说的都是基本的，不过我在上面给的那个链接错，但是是英文版的
作者: wingger    时间: 2004-11-28 19:22
标题: shell基础十二篇
发现不能偷懒，一个周未什么也没看就过去了
    

使用替换修改字符串
如果要附加或修改一个字符串，可以使用（&）命令，&命令保存发现模式以便重新调用它，然后把它放在替换字符串里面。
先给出一个被替换模式，然后是一个准备附加在第一个模式后的另一个模式，并且后面带有&，这样修改模式将放在匹配模式之前。
例如， s e d语句s/nurse/"Hello"&/p 的结果如下
  1. [sam@chenwy sam]$ sed -n 's/nurse/"hello" &/p' quote.txt
  2. The local "hello" nurse Miss P.Neave was in attendance.
复制代码

原句是文本行The local nurse Miss P.Neave was in attendance。
记住模式中要使用空格，因为输出结果表明应加入空格。

还有一个例子：
  1. [sam@chenwy sam]$ sed -n 's/played/from Hockering &/p' quote.txt
  2. The honeysuckle band from Hockering played all night long for only $90.
复制代码

原句是The honeysuckle band played all night long for only $90。

将sed结果写入文件命令
像使用>文件重定向发送输出到一个文件一样，在s e d命令中也可以将结果输入文件。格式有点像使用替换命令：
  1. [ a d d r e s s [，address]]w filename
复制代码

‘w’选项通知s e d将结果写入文件。f i l e n a m e是自解释文件名。
下面有两个例子。
  1. [sam@chenwy sam]$ sed '1,2 w filedt' quote.txt
  2. The honeysuckle band played all night long for only $90.
  3. It was an evening of splendid music and company.
  4. Too bad the disco floor fell through at 23:00.
  5. The local nurse Miss P.Neave was in attendance.
复制代码


文件q u o t e . t x t输出到屏幕。模式范围即1，2行输出到文件f i l e d t。
  1. [sam@chenwy sam]$ cat filedt
  2. The honeysuckle band played all night long for only $90.
  3. It was an evening of splendid music and company.
复制代码


下面例子中查询模式N e a v e，匹配结果行写入文件f i l e d h t。
  1. [sam@chenwy sam]$ sed '/Neave/ w dht' quote.txt
  2. The honeysuckle band played all night long for only $90.
  3. It was an evening of splendid music and company.
  4. Too bad the disco floor fell through at 23:00.
  5. The local nurse Miss P.Neave was in attendance.
复制代码

  1. [sam@chenwy sam]$ cat dht
  2. The local nurse Miss P.Neave was in attendance.
复制代码



从文件中读文本
处理文件时， s e d允许从另一个文件中读文本，并将其文本附加在当前文件。此命令放在模式匹配行后，格式为：
  1. address r filename
复制代码

这里r通知s e d将从另一个文件源中读文本。f i l e n a m e是其文件名。

现在创建一个小文件s e d e x . t x t，内容如下：
  1. [sam@chenwy sam]$ echo "Boom boom went the music" >sedex.txt
  2. [sam@chenwy sam]$ cat sedex.txt
  3. Boom boom went the music
复制代码


将s e d e x . t x t内容附加到文件q u o t e . t x t的拷贝。在模式匹配行/ c o m p a n y /后放置附加文本。本例为第三行。注意所读的文件名需要用单引号括起来。
  1. [sam@chenwy sam]$ sed '/company./r sedex.txt' quote.txt
  2. The honeysuckle band played all night long for only $90.
  3. It was an evening of splendid music and company.
  4. Boom boom went the music
  5. Too bad the disco floor fell through at 23:00.
  6. The local nurse Miss P.Neave was in attendance.
复制代码



匹配后退出
有时需要在模式匹配首次出现后退出s e d，以便执行其他处理脚本。退出命令格式为：
  1. address q
复制代码

下面的例子假定查询模式/ . a . * /，意为任意字符后跟字符a，再跟任意字符0次或任意多次。
查询首次出现模式，然后退出。需要将q放在s e d语句末尾。
  1. [sam@chenwy sam]$ sed '/.a.*/q' quote.txt
  2. The honeysuckle band played all night long for only $90.
复制代码
作者: wingger    时间: 2004-11-28 21:09
标题: shell基础十二篇
显示文件中的控制字符

1、$vi dos.txt
进入vi后，用ctrl+v 再用ctrl+M产生控制字符^M不知对不对

使用cat -v filename命令查看编辑好的文件
  1. [sam@chenwy sam]$ cat -v dos.txt
  2. 12332##DISO##45.12^M
  3. 00332##LPSO##23.14^M
  4. 01299##USPD##34.46^M
复制代码


s e d格式为：
  1. [ a d d r e s s，[ a d d r e s s ] ] l
复制代码

‘l’意为列表。一般情况下要列出整个文件，而不是模式匹配行，因此使用l要从第一到最后一行。模式范围1，$即为此意。
  1. [sam@chenwy sam]$ sed -n '1,$l' dos.txt
  2. 12332##DISO##45.12\r$
  3. 00332##LPSO##23.14\r$
  4. 01299##USPD##34.46\r$
复制代码


处理控制字符
使用s e d实现的一个重要功能是在另一个系统中下载的文件中剔除控制字符。
下面是传送过来的文件（ d o s . t x t）的部分脚本。必须去除所有可疑字符，以便于帐号所有者使用文件。

删除所有的#字符很容易，可以使用全局替换命令。这里用一个空格替换两个或
更多的#符号。
  1. [sam@chenwy sam]$ sed 's/##/ /g' dos.txt
  2. 12332 DISO 45.12
  3. 00332 LPSO 23.14
  4. 01299 USPD 34.46
复制代码


。删除所有行首的0。使用^符号表示模式从行首开始， ^ 0 *表示行首任意个0。模式s / ^ 0 * / / g设置替换部分为空，即为删除模式，正是要求所在。
  1. [sam@chenwy sam]$ sed 's/##/ /g;s/^0*/ /g' dos.txt
  2. 12332 DISO 45.12
  3. 332 LPSO 23.14
  4. 1299 USPD 34.46
复制代码


最后去除行尾^ M符号，为此需做全局替换。设置替换部分为空。模式为：
‘s / ^ m / / g’，注意‘^ M’，这是一个控制字符。
在命令行里也必须用^M控制字符耶！？
  1. [sam@chenwy sam]$ sed 's/##/ /g;s/^0*/ /g;s/^M/ /g' dos.txt
  2. 12332 DISO 45.12
  3. 332 LPSO 23.14
  4. 1299 USPD 34.46
复制代码


或
  1. [sam@chenwy sam]$ cat dos.txt | sed 's/^0*/ /g' | sed 's/^M/ /g' | sed 's/##/ /g'
复制代码
作者: wingger    时间: 2004-11-28 21:25
标题: shell基础十二篇
1、在上面中，vi如何产生控制字符（ ^ M）？
ctrl+v然后ctrl+我想要的字符对不对？
2、如何替换控制字符，不知是我的控制字符不对，还是怎么回事，有问题
作者: 寂寞烈火    时间: 2004-11-28 21:28
标题: shell基础十二篇
ctrl+v+M试一试
作者: wingger    时间: 2004-11-28 21:31
标题: shell基础十二篇
原帖由 "寂寞烈火"ctrl+v+M试一试
发表：


这个不行，
原文

各系统控制字符键值可能不同，主要取决于其映射方式（例如使用t e r m i n f o或t e r m c a p）。
如果要在文本文件中插入控制字符F 1键，使用v i查看其键值，操作如下：
• 启动v i。
• 进入插入模式。
• 按下< C t r l >键，然后按< v >键（出现a ^）。
• 释放上述两个键。
• 按下F 1键（显示[ O P ]。
• 按下< E S C >键（显示F 1键值）。

要产生控制字符（ ^ M），需遵从前面产生F 1键同样的处理过程。步骤如下；键入sed s/，然后按住< C t r l >键和v键，释放v键，再按住^键，并保持< C t r l >键不动，再释放两个键，最后按< r e t u r n >键。

[ 本帖最后由 wingger 于 2005-11-11 14:36 编辑 ]
作者: 寂寞烈火    时间: 2004-11-28 21:52
标题: shell基础十二篇
原帖由 "wingger"
发表：

你的不行我的行,吼吼~~,我测试过的

  2. :%s/^M//  
复制代码
作者: wingger    时间: 2004-11-28 22:12
标题: shell基础十二篇
处理报文输出
当从数据库中执行语句输出时，一旦有了输出结果，脚本即可做进一步处理。通常先做一些整理，下面是一个s q l查询结果。
  1. [sam@chenwy sam]$ cat data.txt
  2. Database Size(MB) DataCreated
  3. -----------------------------
  4. GOSOUTH  2244     12/11/97
  5. TRISUD   5632     8/9/99
  6. (2 rows affected)
复制代码


为了使用上述输出信息做进一步自动处理，需要知道所存数据库名称，为此需执行以下
操作：
1) 使用s / - * / / g删除横线- - - - - -。
2) 使用/ ^ $ / d删除空行。
3) 使用$ d删除最后一行
4) 使用1 d删除第一行。
5) 使用awk {print $1}打印第一列。
命令如下，这里使用了c a t，并管道传送结果到s e d命令。
  1. [sam@chenwy sam]$ cat data.txt |sed 's/--*/ /g' | sed '/^$/d' | sed '$d' | sed '1d' | awk '{print $1}'
  2. GOSOUTH
  3. TRISUD
复制代码


附加文本
当帐户完成设置一个文件时，帐号管理者可能要在文件中每个帐号后面加一段文字，下面是此类文件的一部分：
  1. [sam@chenwy sam]$ cat ok.txt
  2. AC456
  3. AC492169
  4. AC9967
  5. AC88345
复制代码


任务是在每一行末尾加一个字符串‘ p a s s e d’。
使用$命令修改各域会使工作相对容易些。首先需要匹配至少两个或更多的数字重复出现，这样将所有的帐号加进匹配模式。
  1. [sam@chenwy sam]$ sed 's/[0-9][0-9]*/& Passed/g' ok.txt
  2. AC456 Passed
  3. AC492169 Passed
  4. AC9967 Passed
  5. AC88345 Passed
复制代码


从shell向sed传值
要从命令行中向s e d传值，值得注意的是用双引号，否则功能不执行。
  1. [sam@chenwy sam]$ NAME="It's a go situation"
  2. [sam@chenwy sam]$ REPLACE="GO"
  3. [sam@chenwy sam]$ echo $NAME | sed "s/go/$REPLACE/g"
  4. It's a GO situation
复制代码


从sed输出中设置shell变量
从s e d输出中设置s h e l l变量是一个简单的替换过程。运用上面的例子，创建s h e l l变量N E W- N A M E，保存上述s e d例子的输出结果。
  1. [sam@chenwy sam]$ NAME="It's a go situation"
  2. [sam@chenwy sam]$ REPLACE="GO"
  3. [sam@chenwy sam]$ NEW_NAME=`echo $NAME | sed "s/go/$REPLACE/g"`
  4. [sam@chenwy sam]$ echo $NEW_NAME
  5. It's a GO situation
复制代码

这里的`是键盘左上角那个`


下面是一些一行命令集。（[ ]表示空格， [ ]表示t a b键）
‘s / \ . $ / / g’ 删除以句点结尾行
‘-e /abcd/d’ 删除包含a b c d的行
‘s / [ ] [ ] [ ] * / [ ] / g’ 删除一个以上空格，用一个空格代替
‘s / ^ [ ] [ ] * / / g’ 删除行首空格
‘s / \ . [ ] [ ] * / [ ] / g’ 删除句点后跟两个或更多空格，代之以一个空格
‘/ ^ $ / d’ 删除空行
‘s / ^ . / / g’ 删除第一个字符
‘s /CO L \ ( . . . \ ) / / g’ 删除紧跟C O L的后三个字母
‘s / ^ \ / / / g’ 从路径中删除第一个\
‘s / [ ] / [ ] / / g’ 删除所有空格并用t a b键替代
‘S / ^ [ ] / / g’ 删除行首所有t a b键
‘s / [ ] * / / g’ 删除所有t a b键


1. 删除路径名第一个\符号
将当前工作目录返回给s e d，删除第一个\：
  1. [sam@chenwy sam]$ echo $PWD |sed 's/^\///g'
  2. usr/sam
复制代码


2. 追加/插入文本
将"Mr Wi l l i s "字串返回给s e d并在M r后而追加" B r u c e "。
  1. [sam@chenwy sam]$ echo "Mr Willis" |sed 's/Mr /& Bruce/g'
  2. Mr  BruceWillis
复制代码


3. 删除首字符
s e d删除字符串“a c c o u n t s . d o c”首字符。
  1. [sam@chenwy sam]$ echo "accounts.doc" |sed 's/^.//g'
  2. ccounts.doc
复制代码


4. 删除文件扩展名
s e d删除“a c c o u n t s . d o c”文件扩展名。
  1. [sam@chenwy sam]$ echo "accounts.doc"|sed 's/.doc//g'
  2. accounts
复制代码


5. 增加文件扩展名
s e d附加字符串“. d o c”到字符串“a c c o u n t s”。
  1. [sam@chenwy sam]$ echo "accounts"|sed 's/$/.doc/g'
  2. accounts.doc
复制代码


6. 替换字符系列
如果变量x含有下列字符串：
  1. [sam@chenwy sam]$ x="Department+playroll&Building G"
  2. [sam@chenwy sam]$ echo $x
  3. Department+playroll&Building G
复制代码


如果要加入of,located,并去掉+,&实现下列转换：
  1. [sam@chenwy sam]$ echo $x |sed 's/\+/ of /g' |sed 's/\&/ Located at /g'
  2. Department of playroll Located at Building G
复制代码

把+用 of 替换，&用located at 替换
作者: wingger    时间: 2004-11-28 22:22
标题: shell基础十二篇
[quote]原帖由 "寂寞烈火"][/quote 发表：


你可以？那我再试试，我可是试了好几遍了耶
作者: wingger    时间: 2004-11-28 22:24
标题: shell基础十二篇
sed完

转一个贴了，不知到有没有人转过

挑选编辑器
在 UNIX 世界中有很多文本编辑器可供我们选择。思考一下 -- vi、emacs 和 jed 以及很多其它工具都会浮现在脑海中。我们都有自己已逐渐了解并且喜爱的编辑器（以及我们喜爱的组合键）。有了可信赖的编辑器，我们可以轻松处理任何数量与 UNIX 有关的管理或编程任务。

虽然交互式编辑器很棒，但却有其限制。尽管其交互式特性可以成为强项，但也有其不足之处。考虑一下需要对一组文件执行类似更改的情形。您可能会本能地运行自己所喜爱的编辑器，然后手工执行一组烦琐、重复和耗时的编辑任务。然而，有一种更好的方法。

进入 sed
如果可以使编辑文件的过程自动化，以便用“批处理”方式编辑文件，甚至编写可以对现有文件进行复杂更改的脚本，那将太好了。幸运的是，对于这种情况，有一种更好的方法 -- 这种更好的方法称为 "sed"。

sed 是一种几乎包括在所有 UNIX 平台（包括 Linux）的轻量级流编辑器。sed 有许多很好的特性。首先，它相当小巧，通常要比您所喜爱的脚本语言小很多倍。其次，因为 sed 是一种流编辑器，所以，它可以对从如管道这样的标准输入接收的数据进行编辑。因此，无需将要编辑的数据存储在磁盘上的文件中。因为可以轻易将数据管道输出到 sed，所以，将 sed 用作强大的 shell 脚本中长而复杂的管道很容易。试一下用您所喜爱的编辑器去那样做。

GNU sed
对 Linux 用户来说幸运的是，最好的 sed 版本之一恰好是 GNU sed，其当前版本是 3.02。每一个 Linux 发行版都有（或至少应该有）GNU sed。GNU sed 之所以流行不仅因为可以自由分发其源代码，还因为它恰巧有许多对 POSIX sed 标准便利、省时的扩展。另外，GNU 没有 sed 早期专门版本的很多限制，如行长度限制 -- GNU 可以轻松处理任意长度的行。

最新的 GNU sed
在研究这篇文章之时我注意到：几个在线 sed 爱好者提到 GNU sed 3.02a。奇怪的是，在ftp.gnu.org（有关这些链接，请参阅参考资料）上找不到 sed 3.02a，所以，我只得在别处寻找。我在alpha.gnu.org 的 /pub/sed 中找到了它。于是我高兴地将其下载、编译然后安装，而几分钟后我发现最新的 sed 版本却是 3.02.80 -- 可在alpha.gnu.org 上 3.02a 源代码旁边找到其源代码。安装完 GNU sed 3.02.80 之后，我就完全准备好了。

alpha.gnu.org
alpha.gnu.org（请参阅参考资料）是新的和实验性 GNU 源代码的所在地。然而，您还会在那里发现许多优秀、稳定的源代码。出于某种原因，不是许多 GNU 开发人员忘记将稳定的源代码移至 ftp.gnu.org，就是它们的 "beta" 期间格外长（2 年！）。例如，sed 3.02a 已有两年，甚至 3.02.80 也有一年，但它们仍不能（在 2000 年 8 月写本文章时）在 ftp.gnu.org 上获得。

正确的 sed
在本系列中，将使用 GNU sed 3.02.80。在即将出现的本系列后续文章中，某些（但非常少）最高级的示例将不能在 GNU sed 3.02 或 3.02a 中使用。如果您使用的不是 GNU sed，那么结果可能会不同。现在为什么不花些时间安装 GNU sed 3.02.80 呢？那样，不仅可以为本系列的余下部分作好准备，而且还可以使用可能是目前最好的 sed。


sed 示例
sed 通过对输入数据执行任意数量用户指定的编辑操作（“命令”）来工作。sed 是基于行的，因此按顺序对每一行执行命令。然后，sed 将其结果写入标准输出 (stdout)，它不修改任何输入文件。
让我们看一些示例。头几个会有些奇怪，因为我要用它们演示 sed 如何工作，而不是执行任何有用的任务。然而，如果您是 sed 新手，那么理解它们是十分重要的。下面是第一个示例：

  1. $ sed -e 'd' /etc/services
复制代码


如果输入该命令，将得不到任何输出。那么，发生了什么？
在该例中，用一个编辑命令 'd' 调用 sed。sed 打开 /etc/services 文件，将一行读入其模式缓冲区，执行编辑命令（“删除行”），然后打印模式缓冲区（缓冲区已为空）。然后，它对后面的每一行重复这些步骤。这不会产生输出，因为 "d" 命令除去了模式缓冲区中的每一行！

在该例中，还有几件事要注意。首先，根本没有修改 /etc/services。这还是因为 sed 只读取在命令行指定的文件，将其用作输入 -- 它不试图修改该文件。第二件要注意的事是 sed 是面向行的。'd' 命令不是简单地告诉 sed 一下子删除所有输入数据。相反，sed 逐行将 /etc/services 的每一行读入其称为模式缓冲区的内部缓冲区。一旦将一行读入模式缓冲区，它就执行 'd' 命令，然后打印模式缓冲区的内容（在本例中没有内容）。我将在后面为您演示如何使用地址范围来控制将命令应用到哪些行 -- 但是，如果不使用地址，命令将应用到所有行。

第三件要注意的事是括起 'd' 命令的单引号的用法。养成使用单引号来括起 sed 命令的习惯是个好注意，这样可以禁用 shell 扩展。

另一个 sed 示例
下面是使用 sed 从输出流除去 /etc/services 文件第一行的示例：

  1. $ sed -e '1d' /etc/services | more
复制代码




地址范围
现在，让我们看一下如何指定地址范围。在本例中，sed 将删除输出的第 1 到 10 行：
  1. $ sed -e '1,10d' /etc/services | more
复制代码


当用逗号将两个地址分开时，sed 将把后面的命令应用到从第一个地址开始、到第二个地址结束的范围。在本例中，将 'd' 命令应用到第 1 到 10 行（包括这两行）。所有其它行都被忽略。


带规则表达式的地址
现在演示一个更有用的示例。假设要查看 /etc/services 文件的内容，但是对查看其中包括的注释部分不感兴趣。如您所知，可以通过以 '#' 字符开头的行在 /etc/services 文件中放置注释。为了避免注释，我们希望 sed 删除以 '#' 开始的行。以下是具体做法：

  1. $ sed -e '/^#/d' /etc/services | more
复制代码


让我们分析发生的情况。

要理解 '/^#/d' 命令，首先需要对其剖析。首先，让我们除去 'd' -- 这是我们前面所使用的同一个删除行命令。新增加的是 '/^#/' 部分，它是一种新的规则表达式地址。规则表达式地址总是由斜杠括起。它们指定一种 模式，紧跟在规则表达式地址之后的命令将仅适用于正好与该特定模式匹配的行。

因此，'/^#/' 是一个规则表达式。但是，它做些什么呢？很明显，现在该复习规则表达式了。

规则表达式复习
可以使用规则表达式来表示可能会在文本中发现的模式。您在 shell 命令行中用过 '*' 字符吗？这种用法与规则表达式类似，但并不相同。下面是可以在规则表达式中使用的特殊字符：

字符 描述
与行首匹配
与行末尾匹配
与任一个字符匹配
将与前一个字符的零或多个出现匹配
[ ] 与 [ ] 之内的所有字符匹配


感受规则表达式的最好方法可能是看几个示例。所有这些示例都将被 sed 作为合法地址接受，这些地址出现在命令的左边。下面是几个示例：

规则
表达式 描述
/./ 将与包含至少一个字符的任何行匹配
/../ 将与包含至少两个字符的任何行匹配
/^#/ 将与以 '#' 开始的任何行匹配
/^$/ 将与所有空行匹配
/}^/ 将与以 '}'（无空格）结束的任何行匹配
/} *^/ 将与以 '}' 后面跟有零或多个空格结束的任何行匹配
/[abc]/ 将与包含小写 'a'、'b' 或 'c' 的任何行匹配
/^[abc]/ 将与以 'a'、'b' 或 'c'开始的任何行匹配


在这些示例中，鼓励您尝试几个。花一些时间熟悉规则表达式，然后尝试几个自己创建的规则表达式。可以如下使用 /^#/：

  1. $ sed -e '/^#/d' /etc/services | more
复制代码

这将导致 sed 删除任何匹配的行。删除以#开头的行

另一个例子：
  1. $ sed -n -e '/^#/p' /path/to/my/test/file | more
复制代码

请注意新的 '-n' 选项，该选项告诉 sed 除非明确要求打印模式空间，否则不这样做。您还会注意到，我们用 'p' 命令替换了 'd' 命令，如您所猜想的那样，这明确要求 sed 打印模式空间。就这样，将只打印匹配部分。打印以#开头的行


有关地址的更多内容
目前为止，我们已经看到了行地址、行范围地址和 ^# 地址。但是，还有更多的可能。我们可以指定两个用逗号分开的规则表达式，sed 将与所有从匹配第一个规则表达式的第一行开始，到匹配第二个规则表达式的行结束（包括该行）的所有行匹配。例如，以下命令将打印从包含 "BEGIN" 的行开始，并且以包含 "END" 的行结束的文本块：

  1. $ sed -n -e '/BEGIN/,/^END/p' /my/test/file | more
复制代码


如果没发现 "BEGIN"，那么将不打印数据。如果发现了 "BEGIN"，但是在这之后的所有行中都没发现 "END"，那么将打印所有后续行。发生这种情况是因为 sed 面向流的特性 -- 它不知道是否会出现 "END"。

C 源代码示例
如果只要打印 C 源文件中的 main() 函数，可输入：

  1. $ sed -n -e '/main[[:space:]]*(/,/^}/p' sourcefile.c | more
复制代码


以main后面跟空格或制表键，以(开头，}结尾的

该命令有两个规则表达式 '/main[[]]*(/' 和 '/^}/'，以及一个命令 'p'。第一个规则表达式将与后面依次跟有任意数量的空格或制表键以及开始圆括号的字符串 "main" 匹配。这应该与一般 ANSI C main() 声明的开始匹配。

在这个特别的规则表达式中，出现了 '[[]]' 字符类。这只是一个特殊的关键字，它告诉 sed 与 TAB 或空格匹配。如果愿意的话，可以不输入 '[[]]'，而输入 '['，然后是空格字母，然后是 -V，然后再输入制表键字母和 ']' -- Control-V 告诉 bash 要插入“真正”的制表键，而不是执行命令扩展。使用 '[[]]' 命令类（特别是在脚本中）会更清楚。

好，现在看一下第二个 regexp。'/^}' 将与任何出现在新行行首的 '}' 字符匹配。如果代码的格式很好，那么这将与 main() 函数的结束花括号匹配。如果格式不好，则不会正确匹配 -- 这是执行模式匹配任务的一件棘手之事。

因为是处于 '-n' 安静方式，所以 'p' 命令还是完成其惯有任务，即明确告诉 sed 打印该行。试着对 C 源文件运行该命令 -- 它应该输出整个 main() { } 块，包括开始的 "main()" 和结束的 '}'。
作者: wingger    时间: 2004-11-28 22:26
标题: shell基础十二篇
替换！
让我们看一下 sed 最有用的命令之一，替换命令。使用该命令，可以将特定字符串或匹配的规则表达式用另一个字符串替换。下面是该命令最基本用法的示例：

  1. $ sed -e 's/foo/bar/' myfile.txt
复制代码

上面的命令将 myfile.txt 中每行第一次出现的 'foo'（如果有的话）用字符串 'bar' 替换，然后将该文件内容输出到标准输出。请注意，我说的是每行第一次出现，尽管这通常不是您想要的。在进行字符串替换时，通常想执行全局替换。也就是说，要替换每行中的所有出现，如下所示：

  1. $ sed -e 's/foo/bar/g' myfile.txt
复制代码

在最后一个斜杠之后附加的 'g' 选项告诉 sed 执行全局替换。

关于 's///' 替换命令，还有其它几件要了解的事。首先，它是一个命令，并且只是一个命令，在所有上例中都没有指定地址。这意味着，'s///' 还可以与地址一起使用来控制要将命令应用到哪些行，如下所示：

  1. $ sed -e '1,10s/enchantment/entrapment/g' myfile2.txt
复制代码


上例将导致用短语 'entrapment' 替换所有出现的短语 'enchantment'，但是只在第一到第十行（包括这两行）上这样做。

  1. $ sed -e '/^$/,/^END/s/hills/mountains/g' myfile3.txt
复制代码

该例将用 'mountains' 替换 'hills'，但是，只从空行开始，到以三个字符 'END' 开始的行结束（包括这两行）的文本块上这样做。

关于 's///' 命令的另一个妙处是 '/' 分隔符有许多替换选项。如果正在执行字符串替换，并且规则表达式或替换字符串中有许多斜杠，则可以通过在 's' 之后指定一个不同的字符来更改分隔符。例如，下例将把所有出现的 /usr/local 替换成 /usr：

  1. $ sed -e 's:/usr/local:/usr:g' mylist.txt
复制代码


在该例中，使用冒号作为分隔符。如果不指定分隔符，则变成了如下：
  1. $ sed -e 's/usr/local/usrg' mylist.txt
复制代码

这样就不能执行了
如果需要在规则表达式中指定分隔符字符，可以在它前面加入反斜杠。


规则表达式混乱
目前为止，我们只执行了简单的字符串替换。虽然这很方便，但是我们还可以匹配规则表达式。例如，以下 sed 命令将匹配从 '<' 开始、到 '>' 结束、并且在其中包含任意数量字符的短语。下例将删除该短语（用空字符串替换）：

  1. $ sed -e 's/<.*>//g' myfile.html
复制代码


这是要从文件除去 HTML 标记的第一个很好的 sed 脚本尝试，但是由于规则表达式的特有规则，它不会很好地工作。原因何在？当 sed 试图在行中匹配规则表达式时，它要在行中查找最长的匹配。在我的前一篇 sed 文章中，这不成问题，因为我们使用的是 'd' 和 'p' 命令，这些命令总要删除或打印整行。但是，在使用 's///' 命令时，确实有很大不同，因为规则表达式匹配的整个部分将被目标字符串替换，或者，在本例中，被删除。这意味着，上例将把下行：

  1. <b>This</b> is what <b>I</b> meant.

  3. 变成：
  4. meant.
  5. 我们要的不是这个，而是：
  6. This is what I meant.
复制代码


幸运的是，有一种简便方法来纠正该问题。我们不输入“'<' 字符后面跟有一些字符并以 '>' 字符结束”的规则表达式，
而只需输入一个“'<' 字符，后面跟有任意数量非 '>' 字符，并以 '>' 字符结束”的规则表达式。这将与最短、而不是最长的可能性匹配。新命令如下：

  1. $ sed -e 's/<[^>]*>//g' myfile.html
复制代码


在上例中，'[^>]' 指定“非 '>'”字符，其后的 '*' 完成该表达式以表示“零或多个非 '>' 字符”。对几个 html 文件测试该命令，将它们管道输出 "more"，然后仔细查看其结果。


更多字符匹配
'[ ]' 规则表达式语法还有一些附加选项。要指定字符范围，只要字符不在第一个或最后一个位置，就可以使用 '-'，如下所示：

'[a-x]*'
这将匹配零或多个全部为 'a'、'b'、'c'...'v'、'w'、'x' 的字符。另外，可以使用 '[]' 字符类来匹配空格。以下是可用字符类的相当完整的列表：

字符类 描述
[] 字母数字 [a-z A-Z 0-9]
[] 字母 [a-z A-Z]
[] 空格或制表键
[] 任何控制字符
[] 数字 [0-9]
[] 任何可视字符（无空格）
[] 小写 [a-z]
[] 非控制字符
[] 标点字符
[] 空格
[] 大写 [A-Z]
[] 十六进制数字 [0-9 a-f A-F]


尽可能使用字符类是很有利的，因为它们可以更好地适应非英语 locale（包括某些必需的重音字符等等）.


高级替换功能
我们已经看到如何执行简单甚至有些复杂的直接替换，但是 sed 还可以做更多的事。实际上可以引用匹配规则表达式的部分或全部，并使用这些部分来构造替换字符串。作为示例，假设您正在回复一条消息。下例将在每一行前面加上短语 "ralph said: "：

  1. $ sed -e 's/.*/ralph said: &/' origmsg.txt
复制代码


输出如下：
  1. ralph said: Hiya Jim, ralph said: ralph said:
  2. I sure like this sed stuff! ralph said:
复制代码


该例的替换字符串中使用了 '&' 字符，该字符告诉 sed 插入整个匹配的规则表达式。因此，可以将与 '.*' 匹配的任何内容（行中的零或多个字符的最大组或整行）插入到替换字符串中的任何位置，甚至多次插入。这非常好，但 sed 甚至更强大。


那些极好的带反斜杠的圆括号
's///' 命令甚至比 '&' 更好，它允许我们在规则表达式中定义区域，然后可以在替换字符串中引用这些特定区域。作为示例，假设有一个包含以下文本的文件：

  1. foo bar oni eeny meeny miny larry curly moe jimmy the weasel
复制代码


现在假设要编写一个 sed 脚本，该脚本将把 "eeny meeny miny" 替换成 "Victor eeny-meeny Von miny" 等等。要这样做，首先要编写一个由空格分隔并与三个字符串匹配的规则表达式。

  1. '.* .* .*'
复制代码


现在，将在其中每个感兴趣的区域两边插入带反斜杠的圆括号来定义区域：

  1. '\(.*\) \(.*\) \(.*\)'
复制代码


除了要定义三个可在替换字符串中引用的逻辑区域以外，该规则表达式的工作原理将与第一个规则表达式相同。下面是最终脚本：

  1. $ sed -e 's/\(.*\) \(.*\) \(.*\)/Victor \1-\2 Von \3/' myfile.txt
复制代码


如您所见，通过输入 '\x'（其中，x 是从 1 开始的区域号）来引用每个由圆括号定界的区域。输入如下：

  1. Victor foo-bar Von oni Victor eeny-meeny Von miny Victor larry-curly Von moe Victor jimmy-the Von weasel
复制代码


随着对 sed 越来越熟悉，您可以花最小力气来进行相当强大的文本处理。您可能想如何使用熟悉的脚本语言来处理这种问题 -- 能用一行代码轻易实现这样的解决方案吗？


组合使用
在开始创建更复杂的 sed 脚本时，需要有输入多个命令的能力。有几种方法这样做。首先，可以在命令之间使用分号。例如，以下命令系列使用 '=' 命令和 'p' 命令，'=' 命令告诉 sed 打印行号，'p' 命令明确告诉 sed 打印该行（因为处于 '-n' 模式）。

  1. $ sed -n -e '=;p' myfile.txt
复制代码


无论什么时候指定了两个或更多命令，都按顺序将每个命令应用到文件的每一行。在上例中，首先将 '=' 命令应用到第 1 行，然后应用 'p' 命令。接着，sed 继续处理第 2 行，并重复该过程。虽然分号很方便，但是在某些场合下，它不能正常工作。另一种替换方法是使用两个 -e 选项来指定两个不同的命令：

  1. $ sed -n -e '=' -e 'p' myfile.txt
复制代码


然而，在使用更为复杂的附加和插入命令时，甚至多个 '-e' 选项也不能帮我们的忙。对于复杂的多行脚本，最好的方法是将命令放入一个单独的文件中。然后，用 -f 选项引用该脚本文件：

  1. $ sed -n -f mycommands.sed myfile.txt
复制代码


这种方法虽然可能不太方便，但总是管用。


一个地址的多个命令
有时，可能要指定应用到一个地址的多个命令。这在执行许多 's///' 以变换源文件中的字和语法时特别方便。要对一个地址执行多个命令，可在文件中输入 sed 命令，然后使用 '{ }' 字符将这些命令分组，如下所示：

  1. 1,20{         s/[Ll]inux/GNU\/Linux/g         s/samba/Samba/g         s/posix/POSIX/g }
复制代码


上例将把三个替换命令应用到第 1 行到第 20 行（包括这两行）。还可以使用规则表达式地址或者二者的组合：

  1. 1,/^END/{         s/[Ll]inux/GNU\/Linux/g         s/samba/Samba/g         s/posix/POSIX/g         p }
复制代码


该例将把 '{ }' 之间的所有命令应用到从第 1 行开始，到以字母 "END" 开始的行结束（如果在源文件中没发现 "END"，则到文件结束）的所有行。


附加、插入和更改行
既然在单独的文件中编写 sed 脚本，我们可以利用附加、插入和更改行命令。这些命令将在当前行之后插入一行，在当前行之前插入一行，或者替换模式空间中的当前行。它们也可以用来将多行插入到输出。插入行命令用法如下：

  1. i\ This line will be inserted before each line
复制代码

如果不为该命令指定地址，那么它将应用到每一行，并产生如下的输出：

  1. This line will be inserted before each line line 1 here
  2. This line will be inserted before each line line 2 here
  3. This line will be inserted before each line line 3 here
  4. This line will be inserted before each line line 4 here
复制代码

如果要在当前行之前插入多行，可以通过在前一行之后附加一个反斜杠来添加附加行，如下所示：

  1. i\ insert this line\ and this one\ and this one\ and, uh, this one too.
复制代码

附加命令的用法与之类似，但是它将把一行或多行插入到模式空间中的当前行之后。其用法如下：

  1. a\ insert this line after each line.  Thanks! :)
复制代码

另一方面，“更改行”命令将实际替换模式空间中的当前行，其用法如下：

  1. c\ You're history, original line! Muhahaha!
复制代码

因为附加、插入和更改行命令需要在多行输入，所以将把它们输入到一个文本 sed 脚本中，然后通过使用 '-f' 选项告诉 sed 执行它们。使用其它方法将命令传递给 sed 会出现问题。
作者: wingger    时间: 2004-11-28 22:26
标题: shell基础十二篇
文本转换
第一个实际脚本将 UNIX 风格的文本转换成 DOS/Windows 格式。您可能知道，基于 DOS/Windows 的文本文件在每一行末尾有一个 CR（回车）和 LF（换行），而 UNIX 文本只有一个换行。有时可能需要将某些 UNIX 文本移至 Windows 系统，该脚本将为您执行必需的格式转换。

$ sed -e 's/$/\r/' myunix.txt > mydos.txt



在该脚本中，'$' 规则表达式将与行的末尾匹配，而 '\r' 告诉 sed 在其之前插入一个回车。在换行之前插入回车，立即，每一行就以 CR/LF 结束。请注意，仅当使用 GNU sed 3.02.80 或以后的版本时，才会用 CR 替换 '\r'。如果还没有安装 GNU sed 3.02.80，请在我的第一篇 sed 文章中查看如何这样做的说明。

我已记不清有多少次在下载一些示例脚本或 C 代码之后，却发现它是 DOS/Windows 格式。虽然很多程序不在乎 DOS/Windows 格式的 CR/LF 文本文件，但是有几个程序却在乎 -- 最著名的是 bash，只要一遇到回车，它就会出问题。以下 sed 调用将把 DOS/Windows 格式的文本转换成可信赖的 UNIX 格式：

$ sed -e 's/.$//' mydos.txt > myunix.txt



该脚本的工作原理很简单：替代规则表达式与一行的最末字符匹配，而该字符恰好就是回车。我们用空字符替换它，从而将其从输出中彻底删除。如果使用该脚本并注意到已经删除了输出中每行的最末字符，那么，您就指定了已经是 UNIX 格式的文本文件。也就没必要那样做了！

反转行
下面是另一个方便的小脚本。与大多数 Linux 发行版中包括的 "tac" 命令一样，该脚本将反转文件中行的次序。"tac" 这个名称可能会给人以误导，因为 "tac" 不反转行中字符的位置（左和右），而是反转文件中行的位置（上和下）。用 "tac" 处理以下文件：

foo bar oni



....将产生以下输出：

oni bar foo



可以用以下 sed 脚本达到相同目的：

$ sed -e '1!G;h;$!d' forward.txt > backward.txt



如果登录到恰巧没有 "tac" 命令的 FreeBSD 系统，将发现该 sed 脚本很有用。虽然方便，但最好还是知道该脚本为什么那样做。让我们对它进行讨论。

反转解释
首先，该脚本包含三个由分号隔开的单独 sed 命令：'1!G'、'h' 和 '$!d'。现在，需要好好理解用于第一个和第三个命令的地址。如果第一个命令是 '1G'，则 'G' 命令将只应用第一行。然而，还有一个 '!' 字符 -- 该 '!' 字符忽略该地址，即，'G' 命令将应用到除第一行之外的所有行。'$!d' 命令与之类似。如果命令是 '$d'，则将只把 'd' 命令应用到文件中的最后一行（'$' 地址是指定最后一行的简单方式）。然而，有了 '!' 之后，'$!d' 将把 'd' 命令应用到除最后一行之外的所有行。现在，我们所要理解的是这些命令本身做什么。

当对上面的文本文件执行反转脚本时，首先执行的命令是 'h'。该命令告诉 sed 将模式空间（保存正在处理的当前行的缓冲区）的内容复制到保留空间（临时缓冲区）。然后，执行 'd' 命令，该命令从模式空间中删除 "foo"，以便在对这一行执行完所有命令之后不打印它。

现在，第二行。在将 "bar" 读入模式空间之后，执行 'G' 命令，该命令将保留空间的内容 ("foo\n" 附加到模式空间 ("bar\n"，使模式空间的内容为 "bar\n\foo\n"。'h' 命令将该内容放回保留空间保护起来，然后，'d' 从模式空间删除该行，以便不打印它。

对于最后的 "oni" 行，除了不删除模式空间的内容（由于 'd' 之前的 '$!'）以及将模式空间的内容（三行）打印到标准输出之外，重复同样的步骤。

现在，要用 sed 执行一些强大的数据转换。

sed QIF 魔法
过去几个星期，我一直想买一份 Quicken 来结算我的银行帐户。Quicken 是一个非常好的金融程序，当然会成功地完成这项工作。但是，经过考虑之后，我觉得自己可以轻易编写某个软件来结算我的支票簿。我想，毕竟，我是个软件开发人员！

我开发了一个很好的小型支票簿结算程序（使用 awk），它通过分析包含我的所有交易的文本文件的语法来计算余额。略微调整之后，我将其改进，以便可以象 Quicken 那样跟踪不同的贷款和借款类别。但是，我还要添加一个特性。最近，我将帐户转移到一家有联机 Web 帐户界面的银行。有一天，我注意到，这家银行的 Web 站点允许以 Quicken 的 .QIF 格式下载我的帐户信息。我马上觉得，如果可以将该信息转换成文本格式，那就太棒了。

两种格式的故事
在查看 QIF 格式之前，先看一下我的 checkbook.txt 格式：

28 Aug 2000     food    -       -       Y     Supermarket             30.94 25 Aug 2000     watr    -       103     Y     Check 103               52.86



在我的文件中，所有字段都由一个或多个制表符分开，每个交易占据一行。日期之后的下一个字段列出支出类型（如果是收入项，则为 "-"）。第三个字段列出收入类型（如果是支出项，则为 "-"）。然后，是一个支票号字段（如果为空，则还是 "-"），一个交易完成字段（"Y" 或 "N"），一个注释和一个美元金额字段。现在，让我们看一下 QIF 格式。当用文本查看器查看下载的 QIF 文件时，它看起来如下：

!Type:Bank D08/28/2000 T-8.15 N PCHECKCARD SUPERMARKET ^ D08/28/2000 T-8.25 N PCHECKCARD PUNJAB RESTAURANT ^ D08/28/2000 T-17.17 N PCHECKCARD SUPERMARKET



浏览过文件之后，不难猜出其格式 -- 忽略第一行，其余的格式如下：

D<数据>  
T<交易量>  
N<支票号>  
P<描述>  
^   （这是字段分隔符）



开始处理
在处理象这样重要的 sed 项目时，不要气馁 -- sed 允许您将数据逐渐修改成最终形式。在进行当中，可以继续细化 sed 脚本，直到输出与预期的完全一样为止。无需在试第一次时就保证其完全正确。

要开始，首先创建一个名为 "qiftrans.sed" 的文件，然后开始修改数据：

1d /^^/d s/[[]]//g



第一个 '1d' 命令删除第一行，第二个命令从输出除去那些讨厌的 '^' 字符。最后一行除去文件中可能存在的任何控制字符。既然在处理外来文件格式，我想消除在中途遇到任何控制字符的风险。到目前为止，一切顺利。现在，要向该基本脚本中添加一些处理功能：

1d /^^/d s/[[]]//g /^D/ {
s/^D\(.*\)/\1\tOUTY\tINNY\t/
s/^01/Jan/         s/^02/Feb/
s/^03/Mar/         s/^04/Apr/
s/^05/May/         s/^06/Jun/
s/^07/Jul/         s/^08/Aug/
s/^09/Sep/         s/^10/Oct/
s/^11/Nov/         s/^12/Dec/
s:^\(.*\)/\(.*\)/\(.*\):\2 \1 \3:  }



首先，添加一个 '/^D/' 地址，以便 sed 只在遇到 QIF 数据字段的第一个字符 'D' 时才开始处理。当 sed 将这样一行读入其模式空间时，将按顺序执行花括号中的所有命令。

花括号中的第一个命令将把如下行：

D08/28/2000



变换成：

08/28/2000        OUTY        INNY



当然，现在的格式还不完美，但没关系。我们将在进行过程中逐渐细化模式空间的内容。后面 12 行的最后效果是将数据变换成三个字母的格式，最后一行从数据中除去三个斜杠。最后得到这一行：

Aug 28 2000        OUTY        INNY



OUTY 和 INNY 字段是占位符，以后将被替换。现在还不能确定它们，因为如果美元金额为负，将把 OUTY 和 INNY 设置成 "misc" 和 "-"，但是，如果美元金额为正，将分别把它们更改成 "-" 和 "inco"。既然还没有读入美元金额，所以，需要暂时使用占位符。

细化
现在进一步细化：

1d  /^^/d s/[[]]//g  /^D/ {
s/^D\(.*\)/\1\tOUTY\tINNY\t/
s/^01/Jan/          s/^02/Feb/
         s/^03/Mar/          s/^04/Apr/
                 s/^05/May/          s/^06/Jun/
                 s/^07/Jul/          s/^08/Aug/
                 s/^09/Sep/          s/^10/Oct/
                 s/^11/Nov/          s/^12/Dec/
                 s:^\(.*\)/\(.*\)/\(.*\):\2 \1 \3:
                 N          N          N         
                 s/\nT\(.*\)\nN\(.*\)\nP\(.*\)/NUM\2NUM\t\tY\t\t\3\tAMT\1AMT/
                 s/NUMNUM/-/          s/NUM\([0-9]*\)NUM/\1/
                 s/\([0-9]\),/\1/  }



后七行有些复杂，所以将详细讨论它们。首先，连续使用三个 'N' 命令。'N' 命令告诉 sed 将下一行读入输入中，然后将其附加到当前模式空间。这三个 'N' 命令导致将下三行附加到当前模式空间缓冲区，现在这一行看起来如下：

28 Aug 2000        OUTY        INNY        \nT-8.15\nN\nPCHECKCARD SUPERMARKET



sed 的模式空间变得很难看 -- 需要除去额外的新行，并执行某些附加的格式化。要这样做，将使用替代命令。要匹配的模式为：

'\nT.*\nN.*\nP.*'



这将与后面依次跟有 'T'、零或多个字符、新行、'N'、任何数量的字符、新行、'P'、以及任何数量字符的新行匹配。呀！这个规则表达式将与刚刚附加到模式空间的三行的全部内容匹配。但我们要重新格式化该区域，而不是整个替换它。美元金额、支票号（如果有的话）和描述需要出现在替换字符串中。要这样做，我们用带有反斜杠的圆括号括起那些“感兴趣部分”，以便可以在替换字符串中引用它们（使用 '\1'、'\2\ 和 '\3' 来告诉 sed 将它们插入到何处）。以下是最后的命令：

s/\nT\(.*\)\nN\(.*\)\nP\(.*\)/NUM\2NUM\t\tY\t\t\3\tAMT\1AMT/  



该命令将我们的行变换成：

  28 Aug 2000  OUTY  INNY  NUMNUM    Y           CHECKCARD SUPERMARKET         AMT-8.15AMT



虽然该行正变得好一些，但是，有几件事一看就有点...啊...有趣。首先是那个愚蠢的 "NUMNUM" 字符串 -- 其目的何在？如果查看 sed 脚本的后两行，就会发现其目的，后两行将把 "NUMNUM" 替换成 "-"，而把 "NUM"<number>"NUM" 替换成 <number>。如您所见，用愚蠢的标记括起支票号允许我们在该字段为空时方便地插入一个 "-"。

结束尝试
最后一行除去数字后的逗号。它把如 "3,231.00" 这样的美元金额转换成我使用的格式 "3231.00"。现在，让我们看一下最终脚本：

最终的“QIF 到文本”脚本  1d /^^/d s/[[]]//g /^D/ {         s/^D\(.*\)/\1\tOUTY\tINNY\t/
s/^01/Jan/         s/^02/Feb/         s/^03/Mar/         s/^04/Apr/         s/^05/May/
s/^06/Jun/         s/^07/Jul/         s/^08/Aug/         s/^09/Sep/         s/^10/Oct/
s/^11/Nov/         s/^12/Dec/         s:^\(.*\)/\(.*\)/\(.*\):\2 \1 \3:
N         N         N         s/\nT\(.*\)\nN\(.*\)\nP\(.*\)/NUM\2NUM\t\tY\t\t\3\tAMT\1AMT/
s/NUMNUM/-/         s/NUM\([0-9]*\)NUM/\1/         s/\([0-9]\),/\1/
/AMT-[0-9]*.[0-9]*AMT/b fixnegs
s/AMT\(.*\)AMT/\1/         s/OUTY/-/         s/INNY/inco/
b done :fixnegs         s/AMT-\(.*\)AMT/\1/         s/OUTY/misc/
s/INNY/-/ :done }



附加的十一行使用替代和一些分支功能来美化输出。首先看一下这行：

         /AMT-[0-9]*.[0-9]*AMT/b fixnegs  



该行包含一个格式为 "/regexp/b label" 的分支命令。如果模式空间与规则表达式匹配，sed 将分支到 fixnegs 标号。您应该可以轻易找到该标号，它在代码中为 ":fixnegs"。如果规则表达式不匹配，则以常规方式继续处理下一个命令。

既然您理解该命令本身的工作原理，让我们看一下分支。如果看一下分支规则表达式，将看到它与后面依次跟有 '-'、任意数量的数字、一个 '.'、任意数量的数字和 'AMT' 的字符串 'AMT' 匹配。就象我确信您已猜到一样，该规则表达式专门处理负的美元金额。在这之前，用 'ATM' 括起美元金额，以便以后可以轻易找到它。因为规则表达式只与以 '-' 开始的美元金额匹配，所以，该分支只在恰巧处理借款时才发生。如果正处理贷款，应该将 OUTY 设置成 'misc'，将 INNY 设置成 '-'，并且应该除去贷款数量前面的负号。如果跟踪代码的流程，将看到实际情况正是这样。如果不执行分支，则用 '-' 替换 OUTY，用 'inco' 替换 INNY。完成了！现在输出行是完美的：

28 Aug 2000        misc        -        -       Y     CHECKCARD SUPERMARKET  -8.15
作者: bandt    时间: 2004-11-29 09:28
标题: shell基础十二篇
好东东。讲的深入浅出，对俺们这些初学者非常有帮助。
作者: wingger    时间: 2004-11-29 10:01
标题: shell基础十二篇
原帖由 "tianci3982730" 发表：
肯定可以的无论在shell或在vi内都可
先按ctrl+v然后按ctrl+m
当你按ctrl+v后无任何显示
然后按ctrl+m就出现了^M了
按ctrl+v意思是接着输入控制字符的意思


可以了，呵，用ctrl+v再ctrl+M，但奇怪的事，我昨天会产生两个控制字符出来，可能键盘有问题。

我主要是命令行里用的字符^M不是用控制字符^M
作者: zhhui2000    时间: 2004-11-29 14:11
标题: shell基础十二篇
感谢 收藏!
作者: hb12112    时间: 2004-11-30 06:02
标题: shell基础十二篇
1,"如果只打印行号及匹配行，必须使用两个s e d命令，并使用e选项。第一个命令打印模式匹配行，第二个使用=选项打印行号，格式为sed -n -e /pattern/p -e /pattern/=
代码:
sed -n -e '/music/p' -e '/music/='  此条命令难以理解,-n和-e参数配合用时要注意些什么??

2,"整个文件都打印出来，并且匹配行打印了行号。如果只关心实际行号，使用- e选项。 "应该是-n参数~!
3,关于控制字符的输入我电脑上也通不过~!
望指正.
作者: wingger    时间: 2004-12-01 10:37
标题: shell基础十二篇
看完，对什么时候使用什么选项还是有些糊涂

man sed

  1. -n, --quiet, --silent
  2.                                                                                 
  3.               suppress automatic printing of pattern space

  5. 前面举过例子：
  6. [sam@Linux_chenwy sam]$ sed -n '2p' quote.txt
  7. It was an evening of splendid music and company.
  8. 如果没有-n,就把其它的都打印出来了
复制代码

                                                                                
  1. -e script, --expression=script

  3.               add the script to the commands to be executed

  5. 呵，跟多个表达式啊
  6. [sam@Linux_chenwy sam]$ sed -n -e '/music/p' -e '/music/='  quote.txt
  7. It was an evening of splendid music and company.
  8. 2
复制代码



  1. -f script-file, --file=script-file

  3.               add the contents of script-file to the commands to be executed
  4. 脚本文件
复制代码


  1.        -i[suffix], --in-place[=suffix]

  3.               edit files in place (makes backup if extension supplied)
  4. 寂寞烈火说过：是直接更更改原文件，不过最好用重定向
复制代码


       -l N, --line-length=N

              specify the desired line-wrap length for the `l' command


       -r, --regexp-extended

              use extended regular expressions in the script.

       -s, --separate

              consider  files  as  separate rather than as a single continuous
              long stream.


       -u, --unbuffered

              load minimal amounts of data from the input files and flush  the
              output buffers more often

       --help display this help and exit

       -V, --version
              output version information and exit

       If  no  -e, --expression, -f, or --file option is given, then the first
       non-option argument is taken as  the  sed  script  to  interpret.   All
       remaining  arguments  are  names  of input files; if no input files are
       specified, then the standard input is read.

       E-mail bug reports to: bonzini@gnu.org .  Be sure to include  the  word
       ``sed'' somewhere in the ``Subject:'' field.
作者: rubemars    时间: 2004-12-01 16:46
标题: shell基础十二篇
要用sed把字符“\”转化成“'”该怎么写？
sed 's/\\/'/g' text不行，
sed 's/\\/\'/g' text也不行。
'不是特殊字符，但是sed语法规定的字符。
作者: Polestar_lee    时间: 2004-12-01 16:54
标题: shell基础十二篇
不能把'shell基础“这样的帖子整理一下，都置定吗？这个板块新贴速度太快。还是整理一下置定好。
作者: 寂寞烈火    时间: 2004-12-01 16:57
标题: shell基础十二篇
echo 'a/b'|sed s#/#\'#
作者: wingger    时间: 2004-12-01 17:37
标题: shell基础十二篇
谢谢烈火啊，我忘了域分隔符了

  1. [root@Linux_chenwy sam]# cat abc
  2. iiiiii/ooooo
  3. [root@Linux_chenwy sam]# sed "s:/:\':g" abc
  4. iiiiii'ooooo
复制代码


倒过来怎么变这样了

  1. [root@Linux_chenwy sam]# sed "s:\':/:g" abc
  2. iiiiii/ooooo/
复制代码

  1. 如果要替换成iiiiii\ooooo这样呢，用什么来表示\
复制代码
作者: rubemars    时间: 2004-12-02 10:40
标题: shell基础十二篇
[quote]原帖由 "寂寞烈火"]echo 'a/b'|sed s#/#\'#[/quote 发表：

不是“/”，应该是“\”,echo 'a\b'。
请问你这个方法是用#代替了/吗？有没有详细一点的说明。
作者: wingger    时间: 2004-12-02 10:49
标题: shell基础十二篇
原帖由 "rubemars" 发表：

不是“/”，应该是“\”,echo 'a\b'。
请问你这个方法是用#代替了/吗？有没有详细一点的说明。


我不是回了吗，是域分隔符，这里如果再用/的话，就乱套了，因此指定了#作为分隔符
作者: rubemars    时间: 2004-12-02 17:13
标题: shell基础十二篇
我的问题看了一下十三问之后解决了，sed 's/\\/'"'"'/g' text。
不过用寂寞烈火的方法我不知道该如何把a\b改成a'b。请指教。谢谢。
作者: 寂寞烈火    时间: 2004-12-02 17:20
标题: shell基础十二篇
简单的用tr就可以的

  2. /home/lee/test#echo 'a\\b/c'
  3. a\b/c
  4. /home/lee/test#echo 'a\\b/c'|tr '\\|/' "'"
  5. a'b'c
复制代码
作者: wingger    时间: 2004-12-08 09:51
标题: shell基础十二篇
不定期补充一下在论坛看到的sed的实例：

例一：sed分域
http://bbs.chinaunix.net/forum/24/20041207/461745.html

1C2
1C3
1C31
1C32
1C4
2C3
2C4
1D1
1D10
1D12
1D2
1D3
1D31
1RC2
1RC20
1RC21
1RC3
1RC31
1WR1
1WR2
1WR20
1WR21
1WR23
...

排序后
[file2.txt]
1C2
1C3
1C4
1C31
1C32
2C3
2C4
1D1
1D2
1D3
1D10
1D12
1D31
1RC2
1RC3
1RC20
1RC21
1RC31
1WR1
1WR2
1WR20
1WR21
1WR23
...

规律：将每行分成三部分： “数字1” “字符串” “数字2”
第一、三字段按numberic顺序排序，中间部分按字母排序

第二个字段为主关键字，第三个字段为次关键字， 然后是第一个字段

  1. $ cat file |sed 's/^\([0-9]*\)\([A-Z]*\)\([0-9]*\)/\1 \2 \3 /g' |sort +1 -2 +2n +0  -1
复制代码

以空格划分域再排序


例二：处理日期
http://bbs.chinaunix.net/forum/24/20041207/462196.html

123456 345678 2005.05.06 123456
123456 234567 2003.5.6 234567
345555 987644 2003.4.23 543333
555555 999999 2004.11.5 999999

要将第四列数据变成正常的年月日，将2003.5.6 变成2003.05.0;
2003.4.23变成2003.04.23； 2004.11.5变成 2004.11.05

  1. cat file | sed -e :a -e 's/-\([0-9]\)\([- ]\)/-0\1\2/;ta'
复制代码


or

  1. cat file | sed 's/-\([0-9]\)-/-0\1-/; s/-\([0-9]\) /-0\1 /'
复制代码
作者: 99168161    时间: 2004-12-09 13:44
标题: shell基础十二篇
请问大侠:
有没有把1行和2行合成一行,3行和4行合成一行......的命令或办法?
请高手告知
请发站内邮件最好,多谢!
作者: 寂寞烈火    时间: 2004-12-09 15:10
标题: shell基础十二篇
原帖由 "99168161" 发表：
请问大侠:
有没有把1行和2行合成一行,3行和4行合成一行......的命令或办法?
请高手告知
请发站内邮件最好,多谢!

man xargs
P.S:文革MM的好文章终于置顶啦,高兴高兴  
作者: odin_free    时间: 2004-12-10 09:14
标题: shell基础十二篇
恭喜 一下~~

kiss 一个~~
作者: anron    时间: 2004-12-11 21:50
标题: shell基础十二篇
DING
作者: dolphinwwt    时间: 2004-12-13 21:16
标题: shell基础十二篇
[quote]原帖由 "寂寞烈火"]ctrl+v+M试一试[/quote 发表：


但在windows的文本拿到UNIX用VI，所有的^M全看到了。用CAT看不到。
作者: ZealeS    时间: 2004-12-16 16:34
标题: shell基础十二篇
请问有没有p;g;$!N;p;D; 这些的解释。
很难看懂啊。。。
作者: guangzongy    时间: 2004-12-21 14:00
标题: shell基础十二篇
[quote]原帖由 "wingger"][/quote 发表：

  2. [kennyyu@haha socketService]$ echo "iiiii'ooooo" | sed "s:':\\\\:g"
  3. iiiii\ooooo
复制代码
作者: sunnysfg    时间: 2004-12-31 13:16
标题: shell基础十二篇
谢谢楼主，我初学shell，这对我帮助很大
作者: Ecore    时间: 2005-01-27 07:21
标题: shell基础十二篇
做成.chm或pdf多方便.
作者: dudu86    时间: 2005-01-31 08:06
标题: shell基础十二篇
菜鸟今天开始潜水了。
作者: ximcn    时间: 2005-02-04 17:41
标题: shell基础十二篇
好。鼓掌。
作者: skylove    时间: 2005-02-10 09:17
标题: shell基础十二篇
原帖由 "寂寞烈火" 发表：
终于等到sed啦,好好学学
P.S:新版本的sed(GNU sed version 4.0.5)带有-i选项,允许直接编辑修改文件内容而不需要重定向到临时文件
例如:
/home/lee#cat file
old
abc
/home/lee#sed -i 's/old/new/' file
/..........


这功能太危险。。。一般不推荐使用。。。否则原来的文件搞坏了就惨了
作者: a_beginner    时间: 2005-02-25 14:32
提示: 作者被禁止或删除 内容自动屏蔽
作者: 寂寞烈火    时间: 2005-03-02 02:06
标题: shell基础十二篇
原帖由 "a_beginner" 发表：
sed "/END/a\aa" server.key
执行这个之后，显示如下错误
sed: -e expression #1, char 8: Extra characters after command

请问是什么意思？命令跟帖子上的一样啊

或许是sed版本的问题吧!我的sed就可以
GNU sed version 4.0.5
这样试一试:

  2. sed "/END/a\  #此处换行
  3. aa" server.key
复制代码
作者: whtlly    时间: 2005-03-22 01:54
标题: shell基础十二篇
原帖由 "99168161" 发表：
请问大侠:
有没有把1行和2行合成一行,3行和4行合成一行......的命令或办法?
请高手告知
请发站内邮件最好,多谢!

sed 'N;s/\n//'
作者: 小蓝子    时间: 2005-03-25 11:22
标题: shell基础十二篇
谢谢ingger ，非常感谢！
作者: Godfatherwang    时间: 2005-03-31 12:33
标题: shell基础十二篇
好贴！！顶！！！
作者: id_sonic    时间: 2005-08-11 17:16
标题: shell基础十二篇
请教一个应用
    用nmap扫描    80端口开放的主机：
nmap -p 80 202.11x.xxx.*    >file.name
收集到的数据大概是
------------------------------------------------------------
Interesting ports on 202.11x.xxx.3
PORT   STATE  SERVICE
80/tcp ctplosed http
[空行]
Interesting ports on 202.11x.xxx.3
PORT   STATE  SERVICE
80/tcp ctplosed http
[空行]
--------------------------------------------------
这样的结构，想把80端口开发的那三行数据过滤出来该怎么做；
用先把三行合并的方法容易作到，我想用直接过滤。
作者: kdkboy    时间: 2005-08-21 22:57
标题: shell基础十二篇
自己发帖子时才知道写这么多文字不容易了

象斑竹致敬
作者: 123dingding    时间: 2005-08-22 12:31
标题: shell基础十二篇
顶
作者: xy-coordinate    时间: 2005-09-14 10:56
标题: shell基础十二篇
楼主，有没有整骗的文档呀！有就给小弟发一个！谢谢！
xy_coordinate@sina.com
作者: insidejvm    时间: 2005-09-27 09:15
标题: shell基础十二篇
佩服~~
作者: roadqw_zx    时间: 2005-10-02 15:09
标题: shell基础十二篇
版主看一下，有几个链接没用了
作者: lijietz    时间: 2005-10-12 09:29
标题: shell基础十二篇
[quote]原帖由 "roadqw_zx"]版主看一下，有几个链接没用了[/quote 发表：


我不是斑竹,刚才全检查了一下,没有问题的.
作者: mtsxbjing    时间: 2005-11-06 17:46
我强烈建议版主把这么好的东西整理成文档，为人民服务嘛！！
人民会记住你的！！
作者: xy-coordinate    时间: 2005-11-10 17:04
原帖由 mtsxbjing 于 2005-11-6 17:46 发表
我强烈建议版主把这么好的东西整理成文档，为人民服务嘛！！
人民会记住你的！！


早就盼望着了！
作者: p-_-z    时间: 2005-11-11 13:52
好，支持一下！
作者: fengwy    时间: 2005-11-18 14:33
链接确实有问题
作者: vinoddao    时间: 2005-11-25 16:07
Ok,有时间一定好好学学SHELL。
作者: dingtiantian    时间: 2005-12-01 00:43
我们都强烈建议斑竹把shell基础12篇做成pdf文档或者其它文档，或者整理在一起打包，方便服务大众，功德无量啊！！！！！！！！
作者: suoxunfei    时间: 2005-12-09 16:03
好好学习 天天向上
作者: leady    时间: 2005-12-13 17:11
感觉好多是《LINUX与UNIX SHELL编程指南》中的东东，不过还得感谢楼主辛勤整理
作者: jackson_lijian    时间: 2005-12-16 15:56
标题: 关于 sed
请问有没有p;g;$!N;p;D; 这些的解释。
发现这一块很难看懂啊。。。
作者: 231053469    时间: 2005-12-19 12:55
非常非常感谢 ChinaUnix  这论坛太榜了!~!!!!!!!!!!!!!!!!
i love you
作者: 231053469    时间: 2005-12-20 16:59
再顶次的说
作者: waker    时间: 2005-12-20 17:01
原帖由 jackson_lijian 于 2005-12-16 15:56 发表
请问有没有p;g;$!N;p;D; 这些的解释。
发现这一块很难看懂啊。。。

翻翻精华区吧
作者: 231053469    时间: 2005-12-21 08:41
哪能下载到？？这样看好多别人说的话，不封闭~
给个连接吧~~~~~~网中人老师
作者: macrodba    时间: 2005-12-29 13:17
good study
作者: 佛光普照    时间: 2005-12-29 17:56
支持一下。
作者: 231053469    时间: 2006-01-11 16:23
支持 ^=^
作者: taichilau    时间: 2006-01-12 09:44
原帖由 wingger 于 2004-11-28 22:26 发表
替换！
$ sed -e 's/\(.*\) \(.*\) \(.*\)/Victor \1-\2 Von \3/' myfile.txt

[code]  

格式好像应该是sed 's/\(.[^ ]*\) \(.[^ ]*\) \(.[^ ]*\)/ Victor \1 \2 Von \3/g' myfile.txt吧!!!
作者: mrlau    时间: 2006-01-17 16:17
今天开始再仔细研究一遍,谢谢分享!
作者: ly_cyz    时间: 2006-03-01 22:53
多谢指教!
作者: dlms    时间: 2006-03-15 14:57
标题: 数据替换的问题
ｕｐ
作者: nethzt    时间: 2006-04-04 11:48
LZ能把它整理成文档就好了，我想下载下来慢慢看：）
作者: xxjoyjn    时间: 2006-04-08 09:53
顶顶顶
作者: liming_    时间: 2006-05-12 12:10
好东东~~收下了~~~
作者: sugarrose    时间: 2006-05-17 11:06
新手。理解中。。。。！
作者: 81pts    时间: 2006-06-02 21:13
我现在正准备学习shell编程，看来还是从基础做起吧
作者: daidailang22    时间: 2006-06-28 14:28
原帖由 leady 于 2005-12-13 17:11 发表
感觉好多是《LINUX与UNIX SHELL编程指南》中的东东，不过还得感谢楼主辛勤整理


可惜楼主没出书，只有先看看这本书了。。。
作者: vepeta    时间: 2006-07-18 12:33
[quote]原帖由 wingger 于 2004-11-28 22:12 发表[quote]
处理报文输出
当从数据库中执行语句输出时，一旦有了输出结果，脚本即可做进一步处理。通常先做一些整理，下面是一个s q l查询结果。

  1. [root@test160 tmp]# cat data.txt |sed 's/-*/ /g'|sed '/^$/d'|sed '$d'|sed '1d'|awk '{print $1}'

  3. G
  4. T
  5. [root@test160 tmp]# cat data.txt |sed 's/--*/ /g'|sed '/^$/d'|sed '$d'|sed '1d'|awk '{print $1}'

  7. GOSOUTH
  8. TRISUD
复制代码

's/-*/ /g'和sed 's/--*/ /g'有什么区别，谢谢！

[ 本帖最后由 vepeta 于 2006-7-18 12:35 编辑 ]
作者: 9918163    时间: 2006-07-26 11:01
标题: 谢谢
这个对我初学shell来说很好的呀，谢谢
作者: jeffshia    时间: 2006-08-04 18:26
这个基本上全部是linux/unix shell编程指南里面的吧
作者: dryzh    时间: 2006-08-12 23:57
shell编写听说像BAT
难不?
作者: liuwenbo    时间: 2006-08-18 08:57
给讲解以下tar
作者: iexiaoer    时间: 2006-08-18 10:10
studing
作者: softcar    时间: 2006-08-22 18:27
标题: tr问题一个
我想把 /dev/rdsk/c3t6d6
中的 /rdsk/ 替换为 /dsk/
但是使用
tr "[/rdsk/]" "/dsk/" <rvtemp.txt替换出来的都不对。

请高手指点一下。
作者: peterbull    时间: 2006-09-07 16:30
好东西，有没有doc或pdf版本阿，可以方便看了
作者: 寂寞烈火    时间: 2006-09-07 16:54
原帖由 softcar 于 2006-8-22 18:27 发表
我想把 /dev/rdsk/c3t6d6
中的 /rdsk/ 替换为 /dsk/
但是使用
tr "[/rdsk/]" "/dsk/" <rvtemp.txt替换出来的都不对。

请高手指点一下。

用sed吧

  2. sed '/rdsk/dsk/'
复制代码

PS:我相信你没有仔细阅读
作者: baixifeng    时间: 2006-09-12 15:50
太好了！！相当感谢
作者: flystar6    时间: 2006-09-14 12:42
如果能把shell方面的知识整理成一本chm格式的书就好了，那样便于阅读！！
作者: john11    时间: 2006-09-20 16:10
这个得慢慢消化
作者: sywolf    时间: 2006-09-27 01:15
  1. 学会了好多东西，多谢各位高人
复制代码
作者: jackbillow    时间: 2006-09-30 11:50
学习完了。。。。。。



原帖由 寂寞烈火 于 2004-11-28 21:28 发表
ctrl+v+M试一试


补充一点，应该是编辑状态下来操作的。

命令行里也必须用^M控制字符耶！？


CODE:[Copy to clipboard][sam@chenwy sam]$ sed 's/##/ /g;s/^0*/ /g;s/^M/ /g' dos.txt
12332 DISO 45.12
332 LPSO 23.14
1299 USPD 34.46
或


CODE:[Copy to clipboard][sam@chenwy sam]$ cat dos.txt | sed 's/^0*/ /g' | sed 's/^M/ /g' | sed 's/##/ /g'



应该是：
sed 's/##/ /g;s/^0*/ /g;s/\^M/ /g' dos.txt
sed 's/##/ /g;s/^0*/ /g;s/\^M$/ /g' dos.txt
或

cat -v dos.txt | sed 's/^0*/ /g' | sed 's/\^M/ /g' | sed 's/##/ /g'

cat -v dos.txt | sed 's/^0*/ /g' | sed 's/\^M$/ /g' | sed 's/##/ /g'

[ 本帖最后由 jackbillow 于 2006-10-9 16:13 编辑 ]



欢迎光临 Chinaunix (http://bbs.chinaunix.net/) Powered by Discuz! X3.2