shell基础十二篇
原帖由 "零二年的夏天" 发表：佩服，佩服！
以后要向你多请教。
:D
不敢不敢，呵呵，我得向几位学习，sed的用法在那书上说的都是基本的，不过我在上面给的那个链接错，但是是英文版的
shell基础十二篇
发现不能偷懒，一个周未什么也没看就过去了:em16::em16::em16:
使用替换修改字符串
如果要附加或修改一个字符串，可以使用（&）命令，&命令保存发现模式以便重新调用它，然后把它放在替换字符串里面。
先给出一个被替换模式，然后是一个准备附加在第一个模式后的另一个模式，并且后面带有&，这样修改模式将放在匹配模式之前。
例如， s e d语句s/nurse/"Hello"&/p 的结果如下
$ sed -n 's/nurse/"hello" &/p' quote.txt
The local "hello" nurse Miss P.Neave was in attendance.
原句是文本行The local nurse Miss P.Neave was in attendance。
记住模式中要使用空格，因为输出结果表明应加入空格。
还有一个例子：
$ sed -n 's/played/from Hockering &/p' quote.txt
The honeysuckle band from Hockering played all night long for only $90.
原句是The honeysuckle band played all night long for only $90。
将sed结果写入文件命令
像使用>文件重定向发送输出到一个文件一样，在s e d命令中也可以将结果输入文件。格式有点像使用替换命令：
[ a d d r e s s [，address]]w filename
‘w’选项通知s e d将结果写入文件。f i l e n a m e是自解释文件名。
下面有两个例子。
$ sed '1,2 w filedt' quote.txt
The honeysuckle band played all night long for only $90.
It was an evening of splendid music and company.
Too bad the disco floor fell through at 23:00.
The local nurse Miss P.Neave was in attendance.
文件q u o t e . t x t输出到屏幕。模式范围即1，2行输出到文件f i l e d t。
$ cat filedt
The honeysuckle band played all night long for only $90.
It was an evening of splendid music and company.
下面例子中查询模式N e a v e，匹配结果行写入文件f i l e d h t。
$ sed '/Neave/ w dht' quote.txt
The honeysuckle band played all night long for only $90.
It was an evening of splendid music and company.
Too bad the disco floor fell through at 23:00.
The local nurse Miss P.Neave was in attendance.
$ cat dht
The local nurse Miss P.Neave was in attendance.
从文件中读文本
处理文件时， s e d允许从另一个文件中读文本，并将其文本附加在当前文件。此命令放在模式匹配行后，格式为：
address r filename
这里r通知s e d将从另一个文件源中读文本。f i l e n a m e是其文件名。
现在创建一个小文件s e d e x . t x t，内容如下：
$ echo "Boom boom went the music" >sedex.txt
$ cat sedex.txt
Boom boom went the music
将s e d e x . t x t内容附加到文件q u o t e . t x t的拷贝。在模式匹配行/ c o m p a n y /后放置附加文本。本例为第三行。注意所读的文件名需要用单引号括起来。
$ sed '/company./r sedex.txt' quote.txt
The honeysuckle band played all night long for only $90.
It was an evening of splendid music and company.
Boom boom went the music
Too bad the disco floor fell through at 23:00.
The local nurse Miss P.Neave was in attendance.
匹配后退出
有时需要在模式匹配首次出现后退出s e d，以便执行其他处理脚本。退出命令格式为：
address q
下面的例子假定查询模式/ . a . * /，意为任意字符后跟字符a，再跟任意字符0次或任意多次。
查询首次出现模式，然后退出。需要将q放在s e d语句末尾。
$ sed '/.a.*/q' quote.txt
The honeysuckle band played all night long for only $90.
shell基础十二篇
显示文件中的控制字符1、$vi dos.txt
进入vi后，用ctrl+v 再用ctrl+M产生控制字符^M不知对不对
使用cat -v filename命令查看编辑好的文件
$ cat -v dos.txt
12332##DISO##45.12^M
00332##LPSO##23.14^M
01299##USPD##34.46^M
s e d格式为：
[ a d d r e s s，[ a d d r e s s ] ] l
‘l’意为列表。一般情况下要列出整个文件，而不是模式匹配行，因此使用l要从第一到最后一行。模式范围1，$即为此意。
$ sed -n '1,$l' dos.txt
12332##DISO##45.12\r$
00332##LPSO##23.14\r$
01299##USPD##34.46\r$
处理控制字符
使用s e d实现的一个重要功能是在另一个系统中下载的文件中剔除控制字符。
下面是传送过来的文件（ d o s . t x t）的部分脚本。必须去除所有可疑字符，以便于帐号所有者使用文件。
删除所有的#字符很容易，可以使用全局替换命令。这里用一个空格替换两个或
更多的#符号。
$ sed 's/##/ /g' dos.txt
12332 DISO 45.12
00332 LPSO 23.14
01299 USPD 34.46
。删除所有行首的0。使用^符号表示模式从行首开始， ^ 0 *表示行首任意个0。模式s / ^ 0 * / / g设置替换部分为空，即为删除模式，正是要求所在。
$ sed 's/##/ /g;s/^0*/ /g' dos.txt
12332 DISO 45.12
332 LPSO 23.14
1299 USPD 34.46
最后去除行尾^ M符号，为此需做全局替换。设置替换部分为空。模式为：
‘s / ^ m / / g’，注意‘^ M’，这是一个控制字符。
在命令行里也必须用^M控制字符耶！？$ sed 's/##/ /g;s/^0*/ /g;s/^M/ /g' dos.txt
12332 DISO 45.12
332 LPSO 23.14
1299 USPD 34.46
或
$ cat dos.txt | sed 's/^0*/ /g' | sed 's/^M/ /g' | sed 's/##/ /g'
shell基础十二篇
1、在上面中，vi如何产生控制字符（ ^ M）？ctrl+v然后ctrl+我想要的字符对不对？
2、如何替换控制字符，不知是我的控制字符不对，还是怎么回事，有问题
shell基础十二篇
ctrl+v+M试一试shell基础十二篇
原帖由 "寂寞烈火"ctrl+v+M试一试发表：这个不行，
原文
各系统控制字符键值可能不同，主要取决于其映射方式（例如使用t e r m i n f o或t e r m c a p）。
如果要在文本文件中插入控制字符F 1键，使用v i查看其键值，操作如下：
• 启动v i。
• 进入插入模式。
• 按下< C t r l >键，然后按< v >键（出现a ^）。
• 释放上述两个键。
• 按下F 1键（显示[ O P ]。
• 按下< E S C >键（显示F 1键值）。
要产生控制字符（ ^ M），需遵从前面产生F 1键同样的处理过程。步骤如下；键入sed s/，然后按住< C t r l >键和v键，释放v键，再按住^键，并保持< C t r l >键不动，再释放两个键，最后按< r e t u r n >键。
[ 本帖最后由 wingger 于 2005-11-11 14:36 编辑 ]
shell基础十二篇
原帖由 "wingger" 发表：你的不行我的行,吼吼~~,我测试过的
:%s/^M//
shell基础十二篇
处理报文输出当从数据库中执行语句输出时，一旦有了输出结果，脚本即可做进一步处理。通常先做一些整理，下面是一个s q l查询结果。
$ cat data.txt
Database Size(MB) DataCreated
-----------------------------
GOSOUTH2244 12/11/97
TRISUD 5632 8/9/99
(2 rows affected)
为了使用上述输出信息做进一步自动处理，需要知道所存数据库名称，为此需执行以下
操作：
1) 使用s / - * / / g删除横线- - - - - -。
2) 使用/ ^ $ / d删除空行。
3) 使用$ d删除最后一行
4) 使用1 d删除第一行。
5) 使用awk {print $1}打印第一列。
命令如下，这里使用了c a t，并管道传送结果到s e d命令。
$ cat data.txt |sed 's/--*/ /g' | sed '/^$/d' | sed '$d' | sed '1d' | awk '{print $1}'
GOSOUTH
TRISUD
附加文本
当帐户完成设置一个文件时，帐号管理者可能要在文件中每个帐号后面加一段文字，下面是此类文件的一部分：
$ cat ok.txt
AC456
AC492169
AC9967
AC88345
任务是在每一行末尾加一个字符串‘ p a s s e d’。
使用$命令修改各域会使工作相对容易些。首先需要匹配至少两个或更多的数字重复出现，这样将所有的帐号加进匹配模式。
$ sed 's/*/& Passed/g' ok.txt
AC456 Passed
AC492169 Passed
AC9967 Passed
AC88345 Passed
从shell向sed传值
要从命令行中向s e d传值，值得注意的是用双引号，否则功能不执行。
$ NAME="It's a go situation"
$ REPLACE="GO"
$ echo $NAME | sed "s/go/$REPLACE/g"
It's a GO situation
从sed输出中设置shell变量
从s e d输出中设置s h e l l变量是一个简单的替换过程。运用上面的例子，创建s h e l l变量N E W- N A M E，保存上述s e d例子的输出结果。
$ NAME="It's a go situation"
$ REPLACE="GO"
$ NEW_NAME=`echo $NAME | sed "s/go/$REPLACE/g"`
$ echo $NEW_NAME
It's a GO situation
这里的`是键盘左上角那个`
下面是一些一行命令集。（[ ]表示空格， [ ]表示t a b键）
‘s / \ . $ / / g’ 删除以句点结尾行
‘-e /abcd/d’ 删除包含a b c d的行
‘s / [ ] [ ] [ ] * / [ ] / g’ 删除一个以上空格，用一个空格代替
‘s / ^ [ ] [ ] * / / g’ 删除行首空格
‘s / \ . [ ] [ ] * / [ ] / g’ 删除句点后跟两个或更多空格，代之以一个空格
‘/ ^ $ / d’ 删除空行
‘s / ^ . / / g’ 删除第一个字符
‘s /CO L \ ( . . . \ ) / / g’ 删除紧跟C O L的后三个字母
‘s / ^ \ / / / g’ 从路径中删除第一个\
‘s / [ ] / [ ] / / g’ 删除所有空格并用t a b键替代
‘S / ^ [ ] / / g’ 删除行首所有t a b键
‘s / [ ] * / / g’ 删除所有t a b键
1. 删除路径名第一个\符号
将当前工作目录返回给s e d，删除第一个\：
$ echo $PWD |sed 's/^\///g'
usr/sam
2. 追加/插入文本
将"Mr Wi l l i s "字串返回给s e d并在M r后而追加" B r u c e "。
$ echo "Mr Willis" |sed 's/Mr /& Bruce/g'
MrBruceWillis
3. 删除首字符
s e d删除字符串“a c c o u n t s . d o c”首字符。
$ echo "accounts.doc" |sed 's/^.//g'
ccounts.doc
4. 删除文件扩展名
s e d删除“a c c o u n t s . d o c”文件扩展名。
$ echo "accounts.doc"|sed 's/.doc//g'
accounts
5. 增加文件扩展名
s e d附加字符串“. d o c”到字符串“a c c o u n t s”。
$ echo "accounts"|sed 's/$/.doc/g'
accounts.doc
6. 替换字符系列
如果变量x含有下列字符串：
$ x="Department+playroll&Building G"
$ echo $x
Department+playroll&Building G
如果要加入of,located,并去掉+,&实现下列转换：
$ echo $x |sed 's/\+/ of /g' |sed 's/\&/ Located at /g'
Department of playroll Located at Building G
把+用 of 替换，&用located at 替换
shell基础十二篇
原帖由 "寂寞烈火"]你可以？那我再试试，我可是试了好几遍了耶
shell基础十二篇
sed完转一个贴了，不知到有没有人转过
挑选编辑器
在 UNIX 世界中有很多文本编辑器可供我们选择。思考一下 -- vi、emacs 和 jed 以及很多其它工具都会浮现在脑海中。我们都有自己已逐渐了解并且喜爱的编辑器（以及我们喜爱的组合键）。有了可信赖的编辑器，我们可以轻松处理任何数量与 UNIX 有关的管理或编程任务。
虽然交互式编辑器很棒，但却有其限制。尽管其交互式特性可以成为强项，但也有其不足之处。考虑一下需要对一组文件执行类似更改的情形。您可能会本能地运行自己所喜爱的编辑器，然后手工执行一组烦琐、重复和耗时的编辑任务。然而，有一种更好的方法。
进入 sed
如果可以使编辑文件的过程自动化，以便用“批处理”方式编辑文件，甚至编写可以对现有文件进行复杂更改的脚本，那将太好了。幸运的是，对于这种情况，有一种更好的方法 -- 这种更好的方法称为 "sed"。
sed 是一种几乎包括在所有 UNIX 平台（包括 Linux）的轻量级流编辑器。sed 有许多很好的特性。首先，它相当小巧，通常要比您所喜爱的脚本语言小很多倍。其次，因为 sed 是一种流编辑器，所以，它可以对从如管道这样的标准输入接收的数据进行编辑。因此，无需将要编辑的数据存储在磁盘上的文件中。因为可以轻易将数据管道输出到 sed，所以，将 sed 用作强大的 shell 脚本中长而复杂的管道很容易。试一下用您所喜爱的编辑器去那样做。
GNU sed
对 Linux 用户来说幸运的是，最好的 sed 版本之一恰好是 GNU sed，其当前版本是 3.02。每一个 Linux 发行版都有（或至少应该有）GNU sed。GNU sed 之所以流行不仅因为可以自由分发其源代码，还因为它恰巧有许多对 POSIX sed 标准便利、省时的扩展。另外，GNU 没有 sed 早期专门版本的很多限制，如行长度限制 -- GNU 可以轻松处理任意长度的行。
最新的 GNU sed
在研究这篇文章之时我注意到：几个在线 sed 爱好者提到 GNU sed 3.02a。奇怪的是，在ftp.gnu.org（有关这些链接，请参阅参考资料）上找不到 sed 3.02a，所以，我只得在别处寻找。我在alpha.gnu.org 的 /pub/sed 中找到了它。于是我高兴地将其下载、编译然后安装，而几分钟后我发现最新的 sed 版本却是 3.02.80 -- 可在alpha.gnu.org 上 3.02a 源代码旁边找到其源代码。安装完 GNU sed 3.02.80 之后，我就完全准备好了。
alpha.gnu.org
alpha.gnu.org（请参阅参考资料）是新的和实验性 GNU 源代码的所在地。然而，您还会在那里发现许多优秀、稳定的源代码。出于某种原因，不是许多 GNU 开发人员忘记将稳定的源代码移至 ftp.gnu.org，就是它们的 "beta" 期间格外长（2 年！）。例如，sed 3.02a 已有两年，甚至 3.02.80 也有一年，但它们仍不能（在 2000 年 8 月写本文章时）在 ftp.gnu.org 上获得。
正确的 sed
在本系列中，将使用 GNU sed 3.02.80。在即将出现的本系列后续文章中，某些（但非常少）最高级的示例将不能在 GNU sed 3.02 或 3.02a 中使用。如果您使用的不是 GNU sed，那么结果可能会不同。现在为什么不花些时间安装 GNU sed 3.02.80 呢？那样，不仅可以为本系列的余下部分作好准备，而且还可以使用可能是目前最好的 sed。
sed 示例
sed 通过对输入数据执行任意数量用户指定的编辑操作（“命令”）来工作。sed 是基于行的，因此按顺序对每一行执行命令。然后，sed 将其结果写入标准输出 (stdout)，它不修改任何输入文件。
让我们看一些示例。头几个会有些奇怪，因为我要用它们演示 sed 如何工作，而不是执行任何有用的任务。然而，如果您是 sed 新手，那么理解它们是十分重要的。下面是第一个示例：
$ sed -e 'd' /etc/services
如果输入该命令，将得不到任何输出。那么，发生了什么？
在该例中，用一个编辑命令 'd' 调用 sed。sed 打开 /etc/services 文件，将一行读入其模式缓冲区，执行编辑命令（“删除行”），然后打印模式缓冲区（缓冲区已为空）。然后，它对后面的每一行重复这些步骤。这不会产生输出，因为 "d" 命令除去了模式缓冲区中的每一行！
在该例中，还有几件事要注意。首先，根本没有修改 /etc/services。这还是因为 sed 只读取在命令行指定的文件，将其用作输入 -- 它不试图修改该文件。第二件要注意的事是 sed 是面向行的。'd' 命令不是简单地告诉 sed 一下子删除所有输入数据。相反，sed 逐行将 /etc/services 的每一行读入其称为模式缓冲区的内部缓冲区。一旦将一行读入模式缓冲区，它就执行 'd' 命令，然后打印模式缓冲区的内容（在本例中没有内容）。我将在后面为您演示如何使用地址范围来控制将命令应用到哪些行 -- 但是，如果不使用地址，命令将应用到所有行。
第三件要注意的事是括起 'd' 命令的单引号的用法。养成使用单引号来括起 sed 命令的习惯是个好注意，这样可以禁用 shell 扩展。
另一个 sed 示例
下面是使用 sed 从输出流除去 /etc/services 文件第一行的示例：
$ sed -e '1d' /etc/services | more
地址范围
现在，让我们看一下如何指定地址范围。在本例中，sed 将删除输出的第 1 到 10 行：
$ sed -e '1,10d' /etc/services | more
当用逗号将两个地址分开时，sed 将把后面的命令应用到从第一个地址开始、到第二个地址结束的范围。在本例中，将 'd' 命令应用到第 1 到 10 行（包括这两行）。所有其它行都被忽略。
带规则表达式的地址
现在演示一个更有用的示例。假设要查看 /etc/services 文件的内容，但是对查看其中包括的注释部分不感兴趣。如您所知，可以通过以 '#' 字符开头的行在 /etc/services 文件中放置注释。为了避免注释，我们希望 sed 删除以 '#' 开始的行。以下是具体做法：
$ sed -e '/^#/d' /etc/services | more
让我们分析发生的情况。
要理解 '/^#/d' 命令，首先需要对其剖析。首先，让我们除去 'd' -- 这是我们前面所使用的同一个删除行命令。新增加的是 '/^#/' 部分，它是一种新的规则表达式地址。规则表达式地址总是由斜杠括起。它们指定一种 模式，紧跟在规则表达式地址之后的命令将仅适用于正好与该特定模式匹配的行。
因此，'/^#/' 是一个规则表达式。但是，它做些什么呢？很明显，现在该复习规则表达式了。
规则表达式复习
可以使用规则表达式来表示可能会在文本中发现的模式。您在 shell 命令行中用过 '*' 字符吗？这种用法与规则表达式类似，但并不相同。下面是可以在规则表达式中使用的特殊字符：
字符 描述
与行首匹配
与行末尾匹配
与任一个字符匹配
将与前一个字符的零或多个出现匹配
[ ] 与 [ ] 之内的所有字符匹配
感受规则表达式的最好方法可能是看几个示例。所有这些示例都将被 sed 作为合法地址接受，这些地址出现在命令的左边。下面是几个示例：
规则
表达式 描述
/./ 将与包含至少一个字符的任何行匹配
/../ 将与包含至少两个字符的任何行匹配
/^#/ 将与以 '#' 开始的任何行匹配
/^$/ 将与所有空行匹配
/}^/ 将与以 '}'（无空格）结束的任何行匹配
/} *^/ 将与以 '}' 后面跟有零或多个空格结束的任何行匹配
// 将与包含小写 'a'、'b' 或 'c' 的任何行匹配
/^/ 将与以 'a'、'b' 或 'c'开始的任何行匹配
在这些示例中，鼓励您尝试几个。花一些时间熟悉规则表达式，然后尝试几个自己创建的规则表达式。可以如下使用 /^#/：
$ sed -e '/^#/d' /etc/services | more
这将导致 sed 删除任何匹配的行。删除以#开头的行
另一个例子：
$ sed -n -e '/^#/p' /path/to/my/test/file | more
请注意新的 '-n' 选项，该选项告诉 sed 除非明确要求打印模式空间，否则不这样做。您还会注意到，我们用 'p' 命令替换了 'd' 命令，如您所猜想的那样，这明确要求 sed 打印模式空间。就这样，将只打印匹配部分。打印以#开头的行
有关地址的更多内容
目前为止，我们已经看到了行地址、行范围地址和 ^# 地址。但是，还有更多的可能。我们可以指定两个用逗号分开的规则表达式，sed 将与所有从匹配第一个规则表达式的第一行开始，到匹配第二个规则表达式的行结束（包括该行）的所有行匹配。例如，以下命令将打印从包含 "BEGIN" 的行开始，并且以包含 "END" 的行结束的文本块：
$ sed -n -e '/BEGIN/,/^END/p' /my/test/file | more
如果没发现 "BEGIN"，那么将不打印数据。如果发现了 "BEGIN"，但是在这之后的所有行中都没发现 "END"，那么将打印所有后续行。发生这种情况是因为 sed 面向流的特性 -- 它不知道是否会出现 "END"。
C 源代码示例
如果只要打印 C 源文件中的 main() 函数，可输入：
$ sed -n -e '/main[[:space:]]*(/,/^}/p' sourcefile.c | more
以main后面跟空格或制表键，以(开头，}结尾的
该命令有两个规则表达式 '/main[[]]*(/' 和 '/^}/'，以及一个命令 'p'。第一个规则表达式将与后面依次跟有任意数量的空格或制表键以及开始圆括号的字符串 "main" 匹配。这应该与一般 ANSI C main() 声明的开始匹配。
在这个特别的规则表达式中，出现了 '[[]]' 字符类。这只是一个特殊的关键字，它告诉 sed 与 TAB 或空格匹配。如果愿意的话，可以不输入 '[[]]'，而输入 '['，然后是空格字母，然后是 -V，然后再输入制表键字母和 ']' -- Control-V 告诉 bash 要插入“真正”的制表键，而不是执行命令扩展。使用 '[[]]' 命令类（特别是在脚本中）会更清楚。
好，现在看一下第二个 regexp。'/^}' 将与任何出现在新行行首的 '}' 字符匹配。如果代码的格式很好，那么这将与 main() 函数的结束花括号匹配。如果格式不好，则不会正确匹配 -- 这是执行模式匹配任务的一件棘手之事。
因为是处于 '-n' 安静方式，所以 'p' 命令还是完成其惯有任务，即明确告诉 sed 打印该行。试着对 C 源文件运行该命令 -- 它应该输出整个 main() { } 块，包括开始的 "main()" 和结束的 '}'。