转载分享+求助之bash命令行处理流程详解

siyecaoliu

前言
我看很多兄弟写脚本或命令时出现错误的主要原因，是因为不了解bash的命令行处理。我在这里总结了一下，大家可以参考一下。其中也涉及到双引号，单引号以及eval的技巧，我会一一讲述。
Shell从标准输入或脚本中读取的每行称为一个管道行，它包含一个或多个由0个或多个管道字符(|)分隔的命令。对每一个管道行，进行12个步骤的处理。

一、bash命令处理的12个步骤；

1.                                +-------------+           单引号
   
2.     |------------------------->|             |--------------------------|
   
3.     |  ----------------------->| 1.分隔成记号|---- ---------------|     |
   
4.     |  |   ------------------->|             |      双引号        |     |
   
5.     |  |   |                   +-------------+                    |     |
   
6.     |  |   |                          ||                          |     |
   
7.     |  |   |读取下一个命令            \/                          |     |
   
8.     |  |   |     +-------------------------------------------+    |     |
   
9.     |  |   |     |                    2.                     |    |     |
   
10.     |  |   ------|              检验第一个记号               |    |     |
    
11.     |  |         |开放的关键字                    其他关键字 |    |     |
    
12.     |  |         |               非关键字                    |    |     |
    
13.     |  |         +-------------------------------------------+    |     |
    
14.     |  |                              ||                          |     |
    
15.     |  |                              \/                          |     |
    
16.     |  |            +-----------------------------+               |     |
    
17.     |  |  扩展别名  |           3. 检验第一个记号 |               |     |
    
18.     |  |------------|  别名                       |               |     |
    
19.     |               |              不是别名       |               |     |
    
20.     |               +-----------------------------+               |     |
    
21.     |                                 ||                          |     |
    
22.     |                                 \/                          |     |
    
23.     |                           +--------------+                  |     |
    
24.     |                           | 4.大括号扩展 |                  |     |
    
25.     |                           +--------------+                  |     |
    
26.     |                                 ||                          |     |
    
27.     |                                 \/                          |     |
    
28.     |                           +--------------+                  |     |
    
29.     |                           | 5.~符号扩展  |                  |     |
    
30.     |                           +--------------+                  |     |
    
31.     |                                 ||                          |     |
    
32.     |                                 \/                          |     |
    
33.     |                           +--------------+       双引号     |     |
    
34.     |                           |  6.参数扩展  |<-----------------|     |
    
35.     |                           +--------------+                        |
    
36.     |                                 ||                                |
    
37.     |                                 \/                                |
    
38.     |                    +------------------------------+               |
    
39.     |                    |  7.命令替换(嵌套命令行处理)  |               |
    
40.     |                    +------------------------------+               |
    
41.     |                                 ||                                |
    
42.     |                                 \/                                |
    
43.     |                           +--------------+      双引号            |
    
44.     |                           |  8.算术扩展  |------------------|     |
    
45.     |                           +--------------+                  |     |
    
46.     |                                 ||                          |     |
    
47.     |                                 \/                          |     |
    
48.     |                           +--------------+                  |     |
    
49.     |                           |  9.单词分割  |                  |     |
    
50.     |                           +--------------+                  |     |
    
51.     |                                 ||                          |     |
    
52.     |                                 \/                          |     |
    
53.     |                           +--------------+                  |     |
    
54.     |                           | 10.路径名扩展|                  |     |
    
55.     |                           +--------------+                  |     |
    
56.     |                                 ||                          |     |
    
57.     |                                 \/                          |     |
    
58.     |               +----------------------------------------+    |     |
    
59.     |               | 11.命令查寻：函数，内置命令，可执行文件|<---|-----|
    
60.     |               +----------------------------------------+
    
61.     |                                 ||
    
62.     |                                 \/
    
63.     |将参数带入下一个命令        +-------------+
    
64.     |----------eval--------------| 12.运行命令 |
    
65.                                  +-------------+

复制代码

结合上面的插图，这里给出命令行的12个步骤。

1、将命令行分成由固定元字符集分隔的记号；
SPACE, TAB, NEWLINE, ; , (, ), <, >, |, &

记号类型包括单词，关键字，I/O重定向符和分号。

2、检测每个命令的第一个记号，查看是否为不带引号或反斜线的关键字。

如果是一个开放的关键字，如if和其他控制结构起始字符串，function，{或(，则命令实际上为一复合命令。shell在内部对复合命令进行处理，读取下一个命令，并重复这一过程。如果关键字不是复合命令起始字符串(如then等一个控制结构中间出现的关键字)，则给出语法错误信号。

3、依据别名列表检查每个命令的第一个关键字；

如果找到相应匹配，则替换其别名定义，并退回第一步;否则进入第4步。该策略允许递归别名，还允许定义关键字别名。如alias procedure=function

4、执行大括号扩展，例如a{b,c}变成ab ac


5、如果~位于单词开头，用$HOME替换~。

使用usr的主目录替换~user。

6、对任何以符号$开头的表达式执行参数(变量)替换;


7、对形式$(string)的表达式进行命令替换；

这里是嵌套的命令行处理。

8、计算形式为$((string))的算术表达式；


9、把行的参数，命令和算术替换部分再次分成单词，这次它使用$IFS中的字符做分割符而不是步骤1的元字符集；
10、对出现*, ?, [ / ]对执行路径名扩展，也称为通配符扩展；
11、按命令优先级表(跳过别名)，进行命令查寻；
12、设置完I/O重定向和其他操作后执行该命令。
二、关于引用
1、单引号跳过了前10个步骤，不能在单引号里放单引号
2、双引号跳过了步骤1~5，步骤9~10，也就是说，只处理6~8个步骤。
也就是说，双引号忽略了管道字符，别名，~替换，通配符扩展，和通过分隔符分裂成单词。
双引号里的单引号没有作用，但双引号允许参数替换，命令替换和算术表达式求值。可以在双引号里包含双引号，方式是加上转义符"\"，还必须转义$, `, \。
三、eval的作用；
eval的作用是再次执行命令行处理，也就是说，对一个命令行，执行两次命令行处理。这个命令要用好，就要费一定的功夫。我举两个例子，抛砖引玉。
1、例子1：用eval技巧实现shell的控制结构for
用eval技巧实现shell的控制结构for。

1. [root@home root]# cat myscript1
   
2. #!/bin/sh
   
3. evalit(){
   
4.         if [ $cnt = 1 ];then
   
5.                 eval $@
   
6.                 return
   
7.         else
   
8.                 let cnt=cnt-1
   
9.                 evalit $@
   
10.         fi
    
11.         eval $@
    
12. }
    
13. cnt=$1
    
14. echo $cnt | egrep "^[1-9][0-9]*$" >/dev/null
    
15. if [ $? -eq 0 ]; then
    
16.         shift
    
17.         evalit $@
    
18. else
    
19.         echo 'ERROR!!! Check your input!'
    
20. fi
    
21. [root@home root]# ./myscript1 3 hostname
    
22. home
    
23. home
    
24. home
    
25. [root@home root]# ./myscript1 5 id |cut -f1 -d' '
    
26. uid=0(root)
    
27. uid=0(root)
    
28. uid=0(root)
    
29. uid=0(root)
    
30. uid=0(root)

复制代码

注意：bash里有两个很特殊的变量，它们保存了参数列表。
$*，保存了以$IFS指定的分割符所分割的字符串组。
$@，原样保存了参数列表，也就是"$1""$2"...
这里我使用了函数递归以及eval实现了for结构。
当执行eval $@时，它经历了步骤如下：
第1步，分割成eval $@
第6步，扩展$@为hostname
第11步，找到内置命令eval
重复一次命令行处理，第11步，找到hostname命令，执行。
注意：也许有人想当然地认为，何必用eval呢？直接$@来执行命令就可以了嘛。
例子2：一个典型错误的例子
错误！这里给个典型的例子大家看看。

1. [root@home root]# a="id | cut -f1 -d' '"
   
2. [root@home root]# $a

复制代码

id：无效选项 -- f
请尝试执行‘id --help’来获取更多信息。

1. [root@home root]# eval $a
   
2. uid=0(root)

复制代码

如果命令行复杂的话(包括管道或者其他字符)，直接执行$a字符串的内容就会出错。分析如下。
$a的处理位于第6步──参数扩展，也就是说，跳过了管道分析，于是"|", "cut", "-f1", "-d"都变成了id命令的参数，当然就出错啦。
但使用了eval，它把第一遍命令行处理所得的"id", "|", "cut", "-f1", "-d"这些字符串再次进行命令行处理，这次就能正确分析其中的管道了。
总而言之：要保证你的命令或脚本设计能正确通过命令行处理，跳过任意一步，都可能造成意料外的错误！
例子3：设置系统的ls色彩显示

1. eval $(dircolors -b /etc/dircolors)

复制代码

eval语句通知shell接受eval参数，并再次通过命令行处理的所有步骤运行它们。
它使你可以编写脚本随意创建命令字符串，然后把它们传递给shell执行;
$()是命令替换，返回命令的输出字符串。
其中dircolors命令根据/etc/dircolors配置文件生成设置环境变量LS_COLORS的bash代码，内容如下

1. [root@localhost root]# dircolors -b > tmp
   
2. [root@localhost root]# cat tmp
   
3. LS_COLORS='no=00:fi=00:di=01;34:ln=01; ......
   
4. export LS_COLORS

复制代码

#这里我没有指定配置文件，所以dircolors按预置数据库生成代码。
其输出被eval命令传递给shell执行。

eval是对Bash Shell命令行处理规则的灵活应用，进而构造"智能"命令实现复杂的功能。
上面提及的命令是eval其中一个很普通的应用，它重复了1次命令行参数传递过程，纯粹地执行命令的命令。
其实它是bash的难点，是高级bash程序员的必修之技。


四、命令优先级表
1、别名
2、关键字
3、函数
4、内置命令
5、脚本或可执行程序($PATH)



五、鉴于一些学习中会遇到的困惑，我再给出一些有趣的命令。
1、command builtin enable
上面的命令行提及过，第11步会进行命令查找，那它的具体过程如何呢？
它的默认查找次序为函数，内部命令，脚本和可执行代码。我们往往要在实际编程中跳过一些查找项以满足一定的功能需求。这时候就要用到这三个命令来施展魔法~~
2、command
跳过别名和函数的查找，换句话说，它只查找内部命令以及搜索路径中找到的脚本或可执行程序。
这里举个有趣的例子。

1. [root@home root]# type -all pwd
   
2. pwd is a shell builtin
   
3. pwd is /bin/pwd
   
4. [root@home root]# cat myscript2
   
5. #!/bin/sh
   
6. pwd(){
   
7.         echo "This is the current directory."
   
8.         command pwd
   
9. }
   
10. pwd
    
11. [root@home root]# ./myscript2
    
12. This is the current directory.
    
13. /root

复制代码

我用pwd()函数取代了内置命令pwd以及外部命令/bin/pwd，然后在脚本里执行内置命令pwd。在这里我们为什么要用command呢？是为了避免函数陷入递归循环，因为函数名与内置命令同名，而函数的优先级比内置命令高。
3、builtin
顾名思义，它只查找内置命令。这个命令很简单，就不多说了。
4、enable
与builtin相反，它屏蔽一个内置命令，允许运行一个shell脚本或同名的可执行代码而无须给出完全路径名。
举个例子吧。
pwd命令有两个，一个是shell内置的，一个是可执行程序。
当执行一些奇怪的路径名后，shell内置的pwd会打印出"错误信息"，但外部的pwd会打印出当前目录的"原来面目"。请看下面：

1. [root@home root]# cd //
   
2. [root@home //]# pwd
   
3. //
   
4. [root@home //]# type -all pwd
   
5. pwd is a shell builtin
   
6. pwd is /bin/pwd
   
7. [root@home //]# /bin/pwd
   
8. /
   
9. [root@home //]# enable -n pwd
   
10. [root@home //]# pwd
    
11. /

复制代码

这样，用enable -n屏蔽内置pwd命令后，就可以用外部pwd打印出正确的路径名了。
Bash博大精深，希望大家好好学习。
六、关于本文
本文是home_king兄发在LinuxSir.Org 讨论区的一个专题《 【Bas命令行处理】[详解]》 ，我看这篇文档写的很不错，适用新手，就整理出来了，并对段落进行了相应的排版和格式化，以方便大家阅读；

siyecaoliu

求助，哪位大神可以用一个例子把命令行处理的12个步骤都包含呢

Buring__

mark 下         

siyecaoliu

从 O'Reilly 出版社之 Learning the Bash Shell, 3rd Edition 找了个例子，帮助理解~

Further assume that a file exists called .hist537 in user alice's home directory, which is /home/alice, and that there is a double-dollar-sign variable $$ whose value is 2537 (we'll see what this special variable is in the next chapter).

Now let's see how the shell processes the following command:

ll $(type -path cc) ~alice/.*$(($$%1000))


Here is what happens to this line:

1.  ll $(type -path cc) ~alice/.*$(($$%1000)) splits the input into words.

2.  ll is not a keyword, so Step 2 does nothing.

3.  ls -l $(type -path cc) ~alice/.*$(($$%1000)) substitutes ls -l for its alias "ll". The shell then repeats Steps 1 through 3; Step 2 splits the ls -l into two words.

4.  ls -l $(type -path cc) ~alice/.*$(($$%1000)) does nothing.

5.  ls -l $(type -path cc) /home/alice/.*$(($$%1000)) expands ~alice into /home/alice.

6.  ls -l $(type -path cc) /home/alice/.*$((2537%1000)) substitutes 2537 for $$.

7.  ls -l /usr/bin/cc /home/alice/.*$((2537%1000)) does command substitution on "type -path cc".

8.  ls -l /usr/bin/cc /home/alice/.*537 evaluates the arithmetic expression 2537%1000.

9.  ls -l /usr/bin/cc /home/alice/.*537 does nothing.

10. ls -l /usr/bin/cc /home/alice/.hist537 substitutes the filename for the wildcard expression .*537.

11. The command ls is found in /usr/bin.

12./usr/bin/ls is run with the option -l and the two arguments.

Although this list of steps is fairly straightforward, it is not the whole story. There are still five ways to modify the process: quoting; using command, builtin, or enable; and using the advanced command eval.

siyecaoliu

看了4楼的例子之后，还是有些疑惑，不知道在这发问题，能被看到不？？

1、将命令行分成由固定元字符集分隔的记号；
SPACE, TAB, NEWLINE, ; , (, ), <, >, |, &
记号类型包括单词，关键字，I/O重定向符和分号。

1.对于步骤一中的固定元字符集中包含 (, ), 例子中的$(type -path cc)并没有被分割成两个记号(token)

1. ll $(type -path cc) ~alice/.*$(($$%1000))

复制代码

2.记号类型中：单词我理解的是包含命令，如echo；普通字符串，如a=123，关键字我理解的就是if，for，while等需要结合其他的字符进行操作的具有特定含义的字符串；但是不太理解做为固定元字符的I/O重定向符和分号是怎么又做为token的呢？？