1. 项目概述从“字符串”到“单词”的翻译官如果你刚开始接触编译原理可能会觉得这个词法分析听起来特别高大上甚至有点抽象。其实你可以把它想象成一个精通多国语言的翻译官只不过它翻译的对象不是人类语言而是程序员写的源代码。我们写的C代码比如int sum a 100;在计算机看来最初就是一长串毫无意义的字符流。词法分析器的核心任务就是把这串“天书”翻译成计算机后续处理能理解的、有意义的“单词”序列我们称之为“词法单元”或“Token”。这个过程本质上是一个模式匹配和分类的过程。它需要扫描源代码字符流根据预先定义好的规则比如C语言标准识别出哪些字符组合在一起构成了一个关键字如int、if、一个标识符如sum、a、一个常量如100、或者一个运算符如、。这不仅仅是简单的切割它还需要处理像两个字符组成一个运算符、//注释开始标志这样的复杂情况以及忽略掉空格、制表符、换行这些对语法无意义的“空白符”。为什么这个实验如此重要因为它是整个编译器的“第一道门”。这道门如果没把好识别错了单词或者漏掉了错误后面的语法分析、语义分析等阶段就会建立在错误的基础之上导致整个编译过程失败或者产生错误的代码。通过亲手实现一个词法分析器你能最直观地理解编译器是如何“阅读”代码的掌握正则表达式、有限自动机DFA/NFA这些核心理论是如何落地的并且对C语言本身的词法规则有更深刻的认识。无论你是想深入理解编译器还是未来从事底层开发、语言工具开发这都是一个不可或缺的实践环节。2. 核心设计思路有限自动机的工程化实现理论课上我们学到了词法分析的核心是有限自动机Finite Automaton。它就像一个状态机根据当前读入的字符和当前所处的状态决定跳转到下一个状态。当读入的字符无法引起任何状态跳转时我们就认为识别出了一个完整的Token。理论很优美但如何用C代码把它工程化地实现出来是实验的关键。2.1 方案选型手搓DFA vs. 工具生成主流上有两种实现路径。一种是使用Lex/Flex这样的词法分析器生成工具。你只需要用类似正则表达式的方式定义好词法规则工具就能自动帮你生成C代码。这种方式快速、规范适合大型、正规的项目。但对于学习性质的实验我更推荐第二种纯手工编写确定有限自动机DFA。为什么因为“手搓”的过程强迫你去思考每一个细节。你需要自己设计状态转移表明确在什么状态下遇到什么字符该跳转到哪里什么时候该“回退”一个字符Lookahead什么时候该生成Token。这个过程能让你把书本上那个圆圈和箭头的状态图真正内化成清晰的程序逻辑。当你调试自己的代码一步步跟踪状态变化时你对自动机原理的理解会达到一个新的高度。这是使用生成工具无法获得的深度体验。2.2 整体架构设计一个健壮的词法分析器不能只是一个简单的函数。我们需要一个清晰的类结构来组织代码使其易于理解、扩展和维护。核心可以设计为以下几个部分Lexer词法分析器主类这是大脑。它持有源代码字符串、当前扫描位置指针并负责驱动整个分析过程。其核心方法是getNextToken()每次调用就获取下一个Token。Token词法单元类这是产品。每个Token需要包含至少三个信息类型TokenType、文本lexeme以及在源代码中的位置行号、列号。位置信息对于后续报错至关重要。TokenType枚举类型这是分类目录。我们需要用枚举enum class是更好的选择因为它有作用域定义出所有可能的单词类型例如KEYWORD_INT,IDENTIFIER,NUMBER,OPERATOR_PLUS,DELIMITER_SEMICOLON,END_OF_FILE等。字符预处理与扫描在核心状态机开始工作前需要一个预处理环节来跳过空白符、处理换行更新行号计数器、识别可能的注释如//和/* */并跳过它们。这个环节可以单独一个方法也可以整合在状态机的初始状态里。这样的架构使得代码职责分明。Lexer负责流程控制状态机是它的核心算法Token是数据结构TokenType是常量定义。后续如果需要支持新的运算符或关键字只需要修改TokenType枚举和状态机中的相应规则即可。3. 核心细节解析与实操要点3.1 状态机的具体设计以识别数字和标识符为例理论的状态图需要转化为代码逻辑。我们通常不会真的画一个二维表在代码里而是用switch-case或if-else链来实现状态转移。以识别无符号整数为例我们可以设计如下状态状态S初始状态读入一个字符。如果是数字0-9进入状态N数字中。如果是字母或下划线_进入状态I标识符中。如果是 可能是运算符但需要看下一个字符是不是自增或加等于这涉及到“向前看”字符。状态N数字中继续读入字符。如果还是数字保持在状态N。如果不是数字比如遇到了空格或运算符则回退当前字符因为它是下一个Token的开始并生成一个NUMBER类型的Token。这里的关键操作是“回退”unget。因为我们的扫描指针总是指向下一个待读取的字符。当我们发现一个数字序列结束时当前指针指向的字符已经是这个数字Token之后的内容了。为了不丢失这个字符我们需要将指针回退一位这样下次调用getNextToken()时才能从这个字符开始识别新的Token。在C中如果我们将源代码存储在std::string里并用索引访问简单的index--即可实现回退。识别标识符和关键字则更有趣。标识符由字母、数字、下划线组成且首字符不能是数字。当我们处于状态I不断收集字母数字直到遇到非字母数字字符如运算符、空格时标识符结束。此时我们手里有一个标识符的字符串比如int。我们需要判断它到底是关键字还是用户定义的标识符。不要在状态机里嵌入一堆if来判断这样会使得状态机极其臃肿。正确做法是状态机只负责识别出“标识符”这个大类生成一个临时的IDENTIFIERToken。然后在一个独立的环节比如一个std::unordered_mapstd::string, TokenType关键字表中去查找这个标识符的字符串。如果能在关键字表中找到则修改Token的类型为对应的KEYWORD_XXX如果找不到那它就是一个普通的用户标识符。3.2 Token的设计与生成Token类的设计要追求清晰和实用。class Token { public: enum class Type { // 关键字 KEYWORD_INT, KEYWORD_IF, KEYWORD_ELSE, KEYWORD_WHILE, KEYWORD_RETURN, // 标识符 IDENTIFIER, // 字面量 NUMBER, STRING, // 运算符 OPERATOR_PLUS, OPERATOR_MINUS, OPERATOR_ASSIGN, OPERATOR_EQ, // OPERATOR_GT, OPERATOR_GE, // , // 分隔符 DELIMITER_LPAREN, DELIMITER_RPAREN, DELIMITER_SEMICOLON, DELIMITER_BRACE_L, DELIMITER_BRACE_R, // 特殊 END_OF_FILE, ERROR }; Token(Type type, const std::string lexeme, int line, int column) : type(type), lexeme(lexeme), line(line), column(column) {} Type type; std::string lexeme; // 词素即原始的字符串 int line; // 行号从1开始 int column; // 列号从1开始 };使用enum class避免了与全局命名空间的冲突也更安全。lexeme字段保存了原始的文本这在调试和某些语义分析场景下很有用。line和column是调试神器当你的分析器报告“第5行第10列有无法识别的字符”时远比只说“出错”要友好得多。注意在更新行号和列号时处理换行符\n需要将行号1列号重置为1或0。遇到制表符\t时列号通常增加一个制表宽度如4或8而不是只加1这样能更准确地反映在编辑器中的视觉位置。3.3 处理复杂运算符与“向前看”C有很多多字符运算符如,!,,,-,,--,,||。识别它们需要“向前看”一个字符。例如当扫描到字符时我们进入一个“可能是等于运算符”的状态。此时我们不能立即生成OPERATOR_ASSIGNToken而是需要再读入下一个字符如果下一个字符是那么我们就识别出了生成OPERATOR_EQToken。如果下一个字符是其他任何字符比如空格或字母那么刚才读入的就是一个独立的赋值运算符。此时我们需要回退第二个字符然后为第一个生成OPERATOR_ASSIGNToken。这个过程在代码中通常体现为一个peek()函数它查看下一个字符但不移动指针。或者在状态机逻辑中在识别出第一个字符后根据条件尝试读取第二个字符来判断。4. 实操过程与核心环节实现让我们一步步构建一个简易但功能完整的词法分析器。假设我们要分析的迷你语言包含整数、标识符、if/else/while/int关键字以及,-,*,/,,,,,(,),{,},;这些运算符和分隔符。4.1 环境准备与项目结构首先确保你有一个可用的C开发环境。Visual Studio、CLion、或者VSCode配合MinGW/g都可以。我个人偏好使用VSCode因为它轻量配合CMake可以很好地管理项目。创建一个简单的项目结构lexer_project/ ├── include/ │ └── lexer.h ├── src/ │ ├── lexer.cpp │ └── main.cpp └── CMakeLists.txtlexer.h声明Token和Lexer类。lexer.cpp实现核心逻辑。main.cpp用于测试。4.2 Lexer类的核心实现以下是Lexer类核心方法的实现框架// lexer.h #pragma once #include string #include unordered_map class Token; // 前向声明 class Lexer { public: explicit Lexer(const std::string sourceCode); Token getNextToken(); private: char peek() const; // 查看当前字符 char advance(); // 消费当前字符并返回它指针后移 void skipWhitespaceAndComments(); // 跳过空白和注释 Token parseNumber(); // 从状态机中抽离的数字解析函数 Token parseIdentifierOrKeyword(); // 标识符/关键字解析函数 Token parseOperatorOrDelimiter(); // 运算符/分隔符解析函数 private: std::string source_; size_t currentPos_; int currentLine_; int currentColumn_; std::unordered_mapstd::string, Token::Type keywords_; };// lexer.cpp 关键部分 #include lexer.h #include cctype // for isdigit, isalpha等 Lexer::Lexer(const std::string sourceCode) : source_(sourceCode), currentPos_(0), currentLine_(1), currentColumn_(1) { // 初始化关键字表 keywords_ { {int, Token::Type::KEYWORD_INT}, {if, Token::Type::KEYWORD_IF}, {else, Token::Type::KEYWORD_ELSE}, {while, Token::Type::KEYWORD_WHILE}, // ... 添加其他关键字 }; } Token Lexer::getNextToken() { // 1. 跳过所有空白字符和注释 skipWhitespaceAndComments(); // 2. 检查是否到达文件末尾 if (currentPos_ source_.length()) { return Token(Token::Type::END_OF_FILE, , currentLine_, currentColumn_); } // 3. 查看当前字符决定如何解析 char currentChar peek(); if (isdigit(currentChar)) { return parseNumber(); } else if (isalpha(currentChar) || currentChar _) { return parseIdentifierOrKeyword(); } else { // 可能是运算符、分隔符或其他 return parseOperatorOrDelimiter(); } } Token Lexer::parseNumber() { int startLine currentLine_; int startColumn currentColumn_; std::string numberStr; while (currentPos_ source_.length() isdigit(peek())) { numberStr advance(); // advance会移动指针并更新行列号 } // 这里只处理整数后续可以扩展浮点数 return Token(Token::Type::NUMBER, numberStr, startLine, startColumn); } Token Lexer::parseIdentifierOrKeyword() { int startLine currentLine_; int startColumn currentColumn_; std::string identStr; while (currentPos_ source_.length() (isalnum(peek()) || peek() _)) { identStr advance(); } // 查表判断是否是关键字 auto it keywords_.find(identStr); Token::Type type (it ! keywords_.end()) ? it-second : Token::Type::IDENTIFIER; return Token(type, identStr, startLine, startColumn); } Token Lexer::parseOperatorOrDelimiter() { int startLine currentLine_; int startColumn currentColumn_; char firstChar advance(); // 消费第一个字符 switch (firstChar) { case : // 尝试识别 if (peek() ) { advance(); return Token(Token::Type::OPERATOR_PLUSPLUS, , startLine, startColumn); } // 尝试识别 if (peek() ) { advance(); return Token(Token::Type::OPERATOR_PLUS_ASSIGN, , startLine, startColumn); } return Token(Token::Type::OPERATOR_PLUS, , startLine, startColumn); case : if (peek() ) { advance(); return Token(Token::Type::OPERATOR_EQ, , startLine, startColumn); } return Token(Token::Type::OPERATOR_ASSIGN, , startLine, startColumn); case : if (peek() ) { advance(); return Token(Token::Type::OPERATOR_GE, , startLine, startColumn); } return Token(Token::Type::OPERATOR_GT, , startLine, startColumn); case (: return Token(Token::Type::DELIMITER_LPAREN, (, startLine, startColumn); case ): // ... 其他分隔符和运算符 default: // 无法识别的字符 std::string errorStr(1, firstChar); return Token(Token::Type::ERROR, errorStr, startLine, startColumn); } } void Lexer::skipWhitespaceAndComments() { while (currentPos_ source_.length()) { char c peek(); if (c || c \t) { advance(); // 消费空格/制表符只更新列号 continue; } if (c \n) { advance(); // 消费换行行号1列号重置 currentLine_; currentColumn_ 1; continue; } // 处理单行注释 // if (c / currentPos_ 1 source_.length() source_[currentPos_ 1] /) { // 跳过直到行尾 while (currentPos_ source_.length() peek() ! \n) { advance(); } continue; // 循环回去处理这个换行符 } // 处理多行注释 /* */ if (c / currentPos_ 1 source_.length() source_[currentPos_ 1] *) { advance(); // 消费 / advance(); // 消费 * while (currentPos_ 1 source_.length()) { if (peek() * source_[currentPos_ 1] /) { advance(); // 消费 * advance(); // 消费 / break; } // 注释内的换行也需要更新行号 if (peek() \n) { currentLine_; currentColumn_ 1; } advance(); } continue; } // 如果不是空白或注释开始就结束跳过 break; } }4.3 主函数测试在main.cpp中我们可以进行简单的测试#include lexer.h #include iostream #include fstream #include sstream int main() { std::string testCode R( int main() { int a 100; int b 200; if (a b) { return a; } else { return a b; // 这是一个注释 } } ); Lexer lexer(testCode); Token token lexer.getNextToken(); while (token.type ! Token::Type::END_OF_FILE token.type ! Token::Type::ERROR) { std::cout Line token.line , Col token.column : [ token.lexeme ] - static_castint(token.type) std::endl; // 可以写个函数把Type转成字符串输出更友好 token lexer.getNextToken(); } if (token.type Token::Type::ERROR) { std::cerr Lexical error at Line token.line , Col token.column : Unrecognized character token.lexeme std::endl; } return 0; }运行这个程序你应该能看到源代码被分解成一个一个Token并附带了行号和列号信息。5. 常见问题与排查技巧实录在实现和调试词法分析器的过程中几乎每个人都会踩一些相似的坑。下面是我总结的几个典型问题和解决方法。5.1 问题一标识符识别错误吞掉了后面的字符现象识别int a100b;时a100b被正确识别为一个标识符但后面的分号;不见了或者程序进入了错误状态。根因在parseIdentifierOrKeyword函数的while循环中结束条件判断有误。可能只判断了isalpha()而没有判断isdigit()导致数字部分没有被包含进来。或者循环结束后没有正确处理“回退”逻辑。在我们的实现中循环条件(isalnum(peek()) || peek() _)是正确的它会在遇到分号时停止并且分号没有被消费留给了下一次getNextToken()调用。关键是要确保当识别出一个Token的结尾时扫描指针正好指向这个Token之后的下一个字符不超前也不落后。排查在parseIdentifierOrKeyword函数中在循环结束后打印当前的currentPos_和peek()到的字符确认它指向的是标识符之后正确的字符。5.2 问题二数字识别不支持多位或浮点数现象只能识别单个数字100被识别成三个独立的NUMBERToken1,0,0。根因parseNumber函数中的循环逻辑错误。你可能写成了if (isdigit(peek()))而不是while (isdigit(peek()))。if只会消费一位数字。解决严格按照上面的示例代码使用while循环持续消费数字字符。如果要支持浮点数如3.14状态机会更复杂。你需要增加一个状态来处理小数点.以及小数点后的数字。一个简单的思路是在整数部分识别完后如果下一个字符是.并且再下一个是数字则进入小数部分识别状态。5.3 问题三注释处理导致死循环或跳过有效代码现象遇到/* 注释 */后程序卡死或者把后面本该是代码的部分也跳过了。根因处理多行注释的循环结束条件不完整或越界访问。上面的示例代码while (currentPos_ 1 source_.length())是为了确保在查看两个字符*和/时不越界。但更隐蔽的 bug 是未闭合的注释。如果源代码中有一个/*但没有对应的*/这个循环会一直读到文件末尾然后currentPos_溢出导致未定义行为。解决在循环内增加对文件结束的判断if (currentPos_ source_.length()) { /* 报告错误未闭合的注释 */ break; }。更新行列号时要小心注释内的换行符。示例代码中在消费字符前检查了peek() \n这是正确的。如果在advance()内部统一更新行列号那么在注释处理循环中调用advance()也会正确处理换行。5.4 问题四行号列号计算不准现象报错位置和实际位置差几行几列。根因更新currentLine_和currentColumn_的逻辑有漏洞。常见错误有在advance()函数中遇到\n时只增加了行号没有重置列号或者重置为错误的值应为1。制表符\t被当作一个普通字符列号只加1而在编辑器中它通常占4或8列。在跳过注释或字符串时没有更新内部的行列号计数器。解决将更新行列号的逻辑集中到advance()函数中确保任何消费字符的操作都通过它。并在其中精细处理特殊字符char Lexer::advance() { if (currentPos_ source_.length()) return \0; char c source_[currentPos_]; if (c \n) { currentLine_; currentColumn_ 1; } else if (c \t) { // 假设制表符宽度为4 currentColumn_ 4; } else { currentColumn_; } return c; }同时peek()函数不应该有任何副作用不移动指针也不更新行列号。5.5 问题五无法区分和现象总是把识别成两个。根因没有实现“向前看”机制。识别到第一个时就直接返回了OPERATOR_ASSIGNToken。解决正如在parseOperatorOrDelimiter中展示的需要使用peek()查看下一个字符。如果下一个字符是则消费它并返回OPERATOR_EQ否则回退在这个场景下不需要回退因为第一个已经消费下一个字符还没动返回OPERATOR_ASSIGN。这里的“回退”是逻辑上的因为我们用peek()查看时并没有移动指针。5.6 调试技巧可视化你的状态机当逻辑复杂时光看代码很难理清。一个非常有效的调试方法是添加详细的日志。在getNextToken()开始、每个解析函数开始、以及返回Token前打印当前指针位置、当前字符、进入的状态等信息。你可以看到分析器是如何一步步“吃掉”你的源代码的。这能帮你迅速定位状态转移错误发生在哪一步。另一个技巧是单元测试。不要只用一大段代码测试。为每个功能点写小的测试用例单独测试数字识别、标识符识别、运算符识别、注释跳过等。例如void testNumber() { Lexer lexer(123 456); auto t1 lexer.getNextToken(); assert(t1.type Token::Type::NUMBER t1.lexeme 123); auto t2 lexer.getNextToken(); assert(t2.type Token::Type::NUMBER t2.lexeme 456); std::cout testNumber passed! std::endl; }这样当你的分析器在复杂代码上出错时你可以快速回归到这些基础单元测试看是哪个基本功能被破坏了。