Linux Kbuild 的词法分析器问题

Buddy_Zhang1

Kbuild 的词法分析器，也就是 make config 对配置的词法分析和语法分析，最后通过 Kconfig 文件生产对应的 .config。
其源码位于 /srctree/scripts/kconfig/ 目录下。
请问有哪位朋友研究过 zonconf.l 的编译命令？

nswcfd

没仔细分析过这个flex文件，楼主具体的问题是什么？

PS，可以通过info flex查询具体的语法点。

nswcfd

5 Format of the Input File
**************************

The `flex' input file consists of three sections, separated by a line
containing only `%%'.


         definitions
         %%
         rules
         %%
         user code

简单的例子

1.                  int num_lines = 0, num_chars = 0;
   
2. 
   
3.          %%
   
4.          \n      ++num_lines; ++num_chars;
   
5.          .       ++num_chars;
   
6. 
   
7.          %%
   
8.          main()
   
9.                  {
   
10.                  yylex();
    
11.                  printf( "# of lines = %d, # of chars = %d\n",
    
12.                          num_lines, num_chars );
    
13.                  }

复制代码

Buddy_Zhang1

回复 3# nswcfd


Kbuild 系统中，当我们使用命令 “make config” 的时候，他就会去调用 scripts/kconfig/zconf.l 的词法分析器分析 KCONFIG。
通过源码分析， Kbuild 同时使用了两个词法分析器，为了分开两个词法分析器， Kbuild 会使用 flex 带上一定的编译参数来生成这两个词法分析器。
我就是想知道 flex 生产这两个词法分析器时候使用的命令是什么？

默认的词法分析器是 yylex() 另外一个是 zconflex()

nswcfd

第一部分声明了一些状态(start conditons)
%x COMMAND HELP STRING PARAM
以及ws（空白）和n（数字或字母）两个“宏”

第二部分

1. [ \t]*#.*\n     |
   
2. [ \t]*\n        {
   
3.         current_file->lineno++;
   
4.         return T_EOL;
   
5. }
   
6. //匹配行末空白或注释(#开始)
   
7. 
   
8. [ \t]*#.*
   
9. //忽略注释以及之前的空白
   
10. 
    
11. [ \t]+  {
    
12.         BEGIN(COMMAND);
    
13. }
    
14. //空格进入COMMAND状态
    
15. 
    
16. .       {
    
17.         unput(yytext[0]);
    
18.         BEGIN(COMMAND);
    
19. }
    
20. //任意字符进入COMMAND状态, unput放回当前字符（重新解析）
    
21. 
    
22. <COMMAND>{
    
23. //COMMAND状态下的pattern & action
    
24.         {n}+    {
    
25.                 struct kconf_id *id = kconf_id_lookup(yytext, yyleng);
    
26.                 BEGIN(PARAM);
    
27.                 current_pos.file = current_file;
    
28.                 current_pos.lineno = current_file->lineno;
    
29.                 if (id && id->flags & TF_COMMAND) {
    
30.                         zconflval.id = id;
    
31.                         return id->token;
    
32.                 }
    
33.                 alloc_string(yytext, yyleng);
    
34.                 zconflval.string = text;
    
35.                 return T_WORD;
    
36.         }
    
37. //匹配标识符（可能已经存在），切换到PARAM状态
    
38.         .
    
39. //忽略其它字符
    
40.         \n      {
    
41.                 BEGIN(INITIAL);
    
42.                 current_file->lineno++;
    
43.                 return T_EOL;
    
44.         }
    
45. //换行切换为INIT状态
    
46. }
    
47. 
    
48. <PARAM>{
    
49. //PARAM状态下的pattern & action
    
50.         "&&"    return T_AND;
    
51.         "||"    return T_OR;
    
52.         "("     return T_OPEN_PAREN;
    
53.         ")"     return T_CLOSE_PAREN;
    
54.         "!"     return T_NOT;
    
55.         "="     return T_EQUAL;
    
56.         "!="    return T_UNEQUAL;
    
57. //字符串常量，各种操作符
    
58.         \"|\'   {
    
59.                 str = yytext[0];
    
60.                 new_string();
    
61.                 BEGIN(STRING);
    
62.         }
    
63. //单引号或双引号，切换为STRING状态
    
64.         \n      BEGIN(INITIAL); current_file->lineno++; return T_EOL;
    
65. //换行切换为INIT状态
    
66.         ---     /* ignore */
    
67. //忽略---
    
68.         ({n}|[-/.])+    {
    
69.                 struct kconf_id *id = kconf_id_lookup(yytext, yyleng);
    
70.                 if (id && id->flags & TF_PARAM) {
    
71.                         zconflval.id = id;
    
72.                         return id->token;
    
73.                 }
    
74.                 alloc_string(yytext, yyleng);
    
75.                 zconflval.string = text;
    
76.                 return T_WORD;
    
77.         }
    
78. //匹配标识符
    
79.         #.*     /* comment */
    
80. //注释，忽略
    
81.         \\\n    current_file->lineno++;
    
82. //line continue，忽略
    
83.         .
    
84. //忽略其它字符
    
85.         <<EOF>> {
    
86.                 BEGIN(INITIAL);
    
87.         }
    
88. }
    
89. 
    
90. <STRING>{
    
91. //STRING状态下的pattern & action
    
92.         [^'"\\\n]+/\n   {
    
93.                 append_string(yytext, yyleng);
    
94.                 zconflval.string = text;
    
95.                 return T_WORD_QUOTE;
    
96.         }
    
97. //行末的串，不包括引号和转义
    
98.         [^'"\\\n]+      {
    
99.                 append_string(yytext, yyleng);
    
100.         }
     
101. //非行未的（部分）串，不包括引号和转义
     
102.         \\.?/\n {
     
103.                 append_string(yytext + 1, yyleng - 1);
     
104.                 zconflval.string = text;
     
105.                 return T_WORD_QUOTE;
     
106.         }
     
107. //行末的转义，串结束
     
108.         \\.?    {
     
109.                 append_string(yytext + 1, yyleng - 1);
     
110.         }
     
111. //非行末的转义，串未结束
     
112.         \'|\"   {
     
113.                 if (str == yytext[0]) {
     
114.                         BEGIN(PARAM);
     
115.                         zconflval.string = text;
     
116.                         return T_WORD_QUOTE;
     
117. //字符串结束
     
118.                 } else
     
119.                         append_string(yytext, 1);
     
120. //引号本身作为字符串的一部分
     
121.         }
     
122.         \n      {
     
123.                 printf("%s:%d:warning: multi-line strings not supported\n", zconf_curname(), zconf_lineno());
     
124.                 current_file->lineno++;
     
125.                 BEGIN(INITIAL);
     
126.                 return T_EOL;
     
127.         }
     
128. //换行结束STRING状态
     
129.         <<EOF>> {
     
130.                 BEGIN(INITIAL);
     
131.         }
     
132. }
     
133. 
     
134. <HELP>{
     
135. //HELP状态下的pattern & acttion
     
136.         [ \t]+  {
     
137.                 ts = 0;
     
138.                 for (i = 0; i < yyleng; i++) {
     
139.                         if (yytext[i] == '\t')
     
140.                                 ts = (ts & ~7) + 8;
     
141.                         else
     
142.                                 ts++;
     
143.                 }
     
144.                 last_ts = ts;
     
145.                 if (first_ts) {
     
146.                         if (ts < first_ts) {
     
147.                                 zconf_endhelp();
     
148.                                 return T_HELPTEXT;
     
149.                         }
     
150.                         ts -= first_ts;
     
151.                         while (ts > 8) {
     
152.                                 append_string("        ", 8);
     
153.                                 ts -= 8;
     
154.                         }
     
155.                         append_string("        ", ts);
     
156.                 }
     
157.         }
     
158. //看起来像是tab展开，基于缩进量判断help是否结束（python风格……）
     
159.         [ \t]*\n/[^ \t\n] {
     
160.                 current_file->lineno++;
     
161.                 zconf_endhelp();
     
162.                 return T_HELPTEXT;
     
163.         }
     
164. //下一行没有缩进，help结束
     
165.         [ \t]*\n        {
     
166.                 current_file->lineno++;
     
167.                 append_string("\n", 1);
     
168.         }
     
169. //忽略行末空白，help可以包含换行
     
170.         [^ \t\n].* {
     
171.                 while (yyleng) {
     
172.                         if ((yytext[yyleng-1] != ' ') && (yytext[yyleng-1] != '\t'))
     
173.                                 break;
     
174.                         yyleng--;
     
175.                 }
     
176.                 append_string(yytext, yyleng);
     
177.                 if (!first_ts)
     
178.                         first_ts = last_ts;
     
179.         }
     
180. //help正文本身（未结束），忽略末尾的空白，并计算第一行的缩进量
     
181.         <<EOF>> {
     
182.                 zconf_endhelp();
     
183.                 return T_HELPTEXT;
     
184.         }
     
185. }

复制代码

第三部分是原封不动的代码，不解释。

nswcfd

回复 4# Buddy_Zhang1

看同目录下的makefile

conf-objs       := conf.o  zconf.tab.o

$(obj)/zconf.tab.o: $(obj)/lex.zconf.c $(obj)/zconf.hash.c

$(obj)/zconf.tab.c: $(src)/zconf.y
$(obj)/lex.zconf.c: $(src)/zconf.l


%.tab.c: %.y
        bison -l -b $* -p $(notdir $*) $<
        cp $@ $@_shipped

lex.%.c: %.l
        flex -L -P$(notdir $*) -o$@ $<
        cp $@ $@_shipped

不知道有没有理解错误楼主的问题。

nswcfd

flex:
  -P,  --prefix=STRING     use STRING as prefix instead of "yy"
  -L,  --noline            suppress #line directives in scanner

bison:
  -p, --name-prefix=PREFIX   prepend PREFIX to the external symbols
  -l, --no-lines             don't generate `#line' directives

$*代表%匹配的部分，所以，对于匹配lex.%.c的lex.zonf.c而言，%就是zconf
所以yylex就是zconflex

nswcfd

不好意思审题不仔细

Buddy_Zhang1

回复 8# nswcfd


牛逼，我就是要这样的答案，通过你的答复，我已经找到满意回复了

牛逼

今天论坛回复给力，幸好今天没水逆。

你在微信群里叫什么名字，大神。

Buddy_Zhang1

回复 7# nswcfd


我就是想要这个东西

%.tab.c: %.y
        bison -l -b $* -p $(notdir $*) $<
        cp $@ $@_shipped

lex.%.c: %.l
        flex -L -P$(notdir $*) -o$@ $<
        cp $@ $@_shipped

今天本来这是碰碰运气看能否解决

大神果然牛逼！！！