回我们说到语法分析使用的上下文无关语言以及描述上下文无关文法的产生式、产生式推导和语法分析树等概念。今天我们就来讨论实际编写语法分析器的方法。今天介绍的这种方法叫做递归下降recursive descent法这是一种适合手写语法编译器的方法且非常简单。递归下降法对语言所用的文法有一些限制但递归下降是现阶段主流的语法分析方法因为它可以由开发人员高度控制在提供错误信息方面也很有优势。就连微软C#官方的编译器也是手写而成的递归下降语法分析器。使用递归下降法编写语法分析器无需任何类库编写简单的分析器时甚至连前面学习的词法分析库都无需使用。我们来看一个例子现在有一种表示二叉树的字符串表达式它的文法是N →a (N,N)N →ε其中终结符a表示任意一个英文字母ε表示空。这个文法的含义是二叉树的节点要么是空要么是一个字母开头并带有一对括号括号中逗号左边是这个节点的左儿子逗号右边是这个节点的右儿子。例如字符串A(B(,C(,)),D(,))就表示这样一棵二叉树注意文法规定节点即使没有儿子儿子是空括号和逗号也是不可省略的所以只有一个节点的话也要写成A(,)。现在我们要写一个解析器输入这种字符串然后在内存中建立起这棵二叉树。其中内存中的二叉树是用下面这样的类来表示的span stylecolor:#000000span stylecolor:#0000ffclass /spanspan stylecolor:#2b91afNode /span{ span stylecolor:#0000ffpublic /spanspan stylecolor:#2b91afNode /spanLeftChild { span stylecolor:#0000ffget/span; span stylecolor:#0000ffprivate set/span; } span stylecolor:#0000ffpublic /spanspan stylecolor:#2b91afNode /spanRightChild { span stylecolor:#0000ffget/span; span stylecolor:#0000ffprivate set/span; } span stylecolor:#0000ffpublic char /spanLabel { span stylecolor:#0000ffget/span; span stylecolor:#0000ffprivate set/span; } span stylecolor:#0000ffpublic /spanNode(span stylecolor:#0000ffchar /spanlabel, span stylecolor:#2b91afNode /spanleft, span stylecolor:#2b91afNode /spanright) { Label label; LeftChild left; RightChild right; } } /span这是一道微软面试题曾经难倒了不少参加面试的候选人。不知在座各位是否对写出这段程序有信心呢不少参选者想到了要用栈或者用递归去寻找逗号的位置将字符串拆解开来等等方法。但是若是使用递归下降法这个程序写起来非常容易。我们来看看编写递归下降语法分析器的一般步骤使用一个索引来记录当前扫描的位置。通常将它做成一个整数字段。为每个非终结符编写一个方法。如果一个非终结符有超过一个的产生式则在这个方法中对采用哪个产生式进行分支预测。处理单一产生式时遇到正确终结符则将第一步创建的扫描索引位置向前移动如遇到非终结符则调用第二步中创建的相应方法。如果需要产生解析的结果比如本例中的二叉树在方法返回之前将它构造出来。我们马上来试验一下。首先建立一个类然后存放一个索引变量来保存当前扫描位置。然后要为每一个非终结符创建一个方法我们的文法中只有一个非终结符N所以只需创建一个方法span stylecolor:#000000span stylecolor:#0000ffclass /spanspan stylecolor:#2b91afBinaryTreeParser /span{ span stylecolor:#0000ffprivate string /spanm_inputString; span stylecolor:#0000ffprivate int /spanm_index; span stylecolor:#008000//初始化输入字符串和索引的构造函数略 /spanspan stylecolor:#2b91afNode /spanParseNode() { } } /span回到刚才的产生式我们看到非终结符N有两个产生式所以在ParseNode方法的一开始我们必须做出分支预测。分支预测的方法是超前查看look ahead。就是说我们先“偷窥”当前位置前方的字符然后判断应该用哪个产生式继续分析。非终结符N的两个产生式其中一个会产生a(N, N)这个的结构而另一个则直接产生空字符串。那现在知道起码有一种可能就是会遇到一个字母这时候应该采用N → a(N, N)这个产生式继续分析。那么什么时候应该采用N → ε进行分析呢我们观察产生式右侧所有出现N的地方倘若N是空字符串那么N后面的字符就会直接出现也就是逗号和右括号。于是这就是我们的分支预测如果超前查看遇到英文字母预测分支N → a(N, N)如果超前查看遇到逗号、右括号预测分支N → ε转化成代码就是这样span stylecolor:#000000span stylecolor:#2b91afNode /spanParseNode() { span stylecolor:#0000ffint /spanlookAheadIndex m_index; span stylecolor:#0000ffchar /spanlookAheadChar m_inputString[lookAheadIndex]; span stylecolor:#0000ffif /span(span stylecolor:#2b91afChar/span.IsLetter(lookAheadChar)) { span stylecolor:#008000//采用N → a(N, N)继续分析 /span} span stylecolor:#0000ffelse if /span(lookAheadChar span stylecolor:#a31515, /span|| lookAheadChar span stylecolor:#a31515) /span) { span stylecolor:#008000//采用N → ε继续分析 /span} span stylecolor:#0000ffelse /span{ span stylecolor:#0000ffthrow new /spanspan stylecolor:#2b91afException/span(span stylecolor:#a31515语法错误/span); } } /span接下来我们分别来看两个分支怎么处理。先来看N → ε这种情况下非终结符是个空字符串所以我们不需要移动当前索引直接返回null表示空节点。再来看N → a(N, N) 分支倘若输入的字符串没有任何语法错误那就应该依次遇到字母、左括号、N、逗号、N右括号。根据上面的规则凡是遇到终结符就移动当前索引直接向前扫描而要是遇到非终结符就递归调用相应节点的方法。所以不考虑语法错误的完整方法代码如下span stylecolor:#000000span stylecolor:#2b91afNode /spanParseNode() { span stylecolor:#0000ffint /spanlookAheadIndex m_index; span stylecolor:#0000ffchar /spanlookAheadChar m_inputString[lookAheadIndex]; span stylecolor:#0000ffif /span(span stylecolor:#2b91afChar/span.IsLetter(lookAheadChar)) { span stylecolor:#008000//采用N → a(N, N)继续分析 /spanspan stylecolor:#0000ffchar /spanlabel m_inputString[m_index]; span stylecolor:#008000//解析字母 /spanm_index; span stylecolor:#008000//解析左括号因为不需要使用它的值所以直接跳过 /spanspan stylecolor:#2b91afNode /spanleft ParseNode(); span stylecolor:#008000//非终结符N递归调用 /spanm_index; span stylecolor:#008000//解析逗号跳过 /spanspan stylecolor:#2b91afNode /spanright ParseNode(); span stylecolor:#008000//非终结符N递归调用 /spanm_index; span stylecolor:#008000//解析右括号跳过 /spanspan stylecolor:#0000ffreturn new /spanspan stylecolor:#2b91afNode/span(label, left, right); } span stylecolor:#0000ffelse if /span(lookAheadChar span stylecolor:#a31515, /span|| lookAheadChar span stylecolor:#a31515)/span) { span stylecolor:#008000//采用N → ε继续分析 //无需消耗输入字符直接返回null /spanspan stylecolor:#0000ffreturn null/span; } span stylecolor:#0000ffelse /span{ span stylecolor:#0000ffthrow new /spanspan stylecolor:#2b91afException/span(span stylecolor:#a31515语法错误/span); } } /span因为存在语法约束所以一旦我们完成了分支预测就能清楚地知道下一个字符或非终结符一定是什么无需再进行任何判断除非要进行语法错误检查。因此根本就不需要寻找逗号在什么位置我们解析到逗号时逗号一定就在那这种感觉是不是很棒只需要寥寥几行代码就已经写出了一个完整的Parser。大家感兴趣可以继续补全一些辅助代码然后用真正的字符串输入试验一下是否工作正常。前面假设输入字符串的语法是正确的但真实世界的程序总会写错所以编译器需要能够帮助检查语法错误。在上述程序中加入语法错误检查非常容易只要验证每个位置的字符是否真的等于产生式中规定的终结符就可以了。这就留给大家做个练习吧。上面我们采用的分支预测法是“人肉观察法”编译原理书里一般都有一些计算FIRST集合或FOLLOW集合的算法可以算出一个产生式可能开头的字符这样就可以用自动的方法写出分支预测从而实现递归下降语法分析器的自动化生成。ANTLR就是用这种原理实现的一个著名工具。有兴趣的同学可以去看编译原理书。其实我觉得“人肉观察法”在实践中并不困难因为编程语言的文法都特别有规律而且我们天天用编程语言写代码都很有经验了。下面我们要研究一下递归下降法对文法有什么限制。首先我们必须要通过超前查看进行分支预测。支持递归下降的文法必须能通过从左往右超前查看k个字符决定采用哪一个产生式。我们把这样的文法称作LL(k)文法。这个名字中第一个L表示从左往右扫描字符串这一点可以从我们的index变量从0开始递增的特性看出来而第二个L表示最左推导想必大家还记得上一篇介绍的最左推导的例子。大家可以用调试器跟踪一遍递归下降语法分析器的分析过程就能很容易地感受到它的确是最左推导的总是先展开当前句型最左边的非终结符。最后括号中的k表示需要超前查看k个字符。如果在每个非终结符的解析方法开头超前查看k个字符不能决定采用哪个产生式那这个文法就不能用递归下降的方法来解析。比如下面的文法F → idF → ( E )E → F * FE → F / F当我们编写非终结符E的解析方法时需要在两个E产生式中进行分支预测。然而两个E产生式都以F开头而且F本身又可能是任意长的表达式无论超前查看多少字符都无法判定到底应该用乘号的产生式还是除号的产生式。遇到这种情况我们可以用提取左公因式的方法将它转化为LL(k)的文法F → idF → ( E )G → * FG → / FE → FG我们将一个左公因式F提取出来然后将剩下的部分做成一个新的产生式G。在解析G的时候很容易进行分支预测。而解析E的时候则无需再进行分支预测了。在实践中提取左公因式不仅可以将文法转化为LL(k)型还能有助于减少重复的解析提高性能。