简介本资源是南京邮电大学《编译原理》课程配套的实验一完整报告面向计算机类专业本科生及编译技术初学者聚焦词法分析器的设计与实现这一核心基础环节。文档详述了基于C子集含6个关键字、12个运算符/界限符、整型常数与标识符的词法分析原理涵盖正规文法定义、状态转换逻辑、保留字表查询机制及关键函数Letter/Digit/Reserve等的代码实现与编码规则关键字→1、界限符→2、运算符→3、ID→4、整常数→5。资源为1个7.69MB的Word文档.doc内容包含实验目的、环境配置WindowsVS2019、设计概要、完整可运行代码、输入输出示例及总结反思结构清晰、注释充分便于理解词法分析在编译全流程中的定位与作用。目前已有196人学习下载适合课堂实践复现、课程设计参考或编译原理入门巩固。1. 为什么词法分析器写出来跑不通——南京邮电大学编译原理实验一的真实战场南京邮电大学编译原理实验一词法分析不是“写个正则就交差”的入门练习而是学生第一次直面真实语言处理黑匣子的临界点你写的代码能识别while但卡在while123能跳过注释却把/* */里的*当成乘号报错用 Java 写完 Scanner 读文件发现中文路径直接抛FileNotFoundException。这不是玄学是词法分析器必须跨过的三道硬门槛——状态机建模是否闭环、保留字与标识符的优先级是否显式可控、错误恢复机制是否留有退路。本实验面向已学完有限自动机理论、但尚未接触 Lex/Yacc 工具链的大三学生目标不是“跑出 hello world”而是产出一个可调试、可验证、可被后续语法分析模块稳定调用的词法单元流token stream。如果你正在为实验报告里“Token 类设计不合理”“行号计数错乱”“关键字匹配被子串干扰”反复修改到凌晨两点——这篇笔记就是为你写的血泪复盘。2. 从状态图到 Java 实现手写词法分析器的最小可行路径南京邮电大学编译原理实验一明确要求手写实现禁用 JFlex/Antlr 等生成器核心在于用 Java 构建一个确定性有限自动机DFA驱动的扫描器。常见误区是直接堆 if-else 判断字符结果状态分支爆炸、回溯逻辑混乱。正确做法是先画状态转换图再映射为 Java 状态机。我们以实验指导书典型要求为例支持 C 风格关键字if,else,while,return、整数常量123,0xFF、浮点数3.14,.5e-2、运算符,-,*,/,,!,、分隔符;,{,}及单行/多行注释。2.1 状态机建模为什么必须画图不画图直接编码90% 的人会在0x123和0123的识别上翻车。关键状态必须显式定义START初始态接收首字符IN_ID标识符中间态字母/数字/下划线IN_NUM数字中间态区分十进制/十六进制/浮点IN_COMMENT注释中间态//后跳过换行/*后等待*/IN_STRING字符串字面量需处理转义\n,\DONE终态返回 token提示南京邮电大学实验指导书隐含要求支持0x前缀十六进制整数但未明说浮点数指数部分。若只实现123.45而忽略.5e-2测试用例会失败——这是历年学生踩坑高频点。2.2 Java 核心类结构Token 与 Scanner 的契约词法分析器本质是Scanner类对外提供nextToken()方法返回Token对象。二者契约必须严格Token类至少含type枚举、value原始字符串、line行号、col列号Scanner必须维护line/col计数器且在读取\n时line,col0nextToken()每次调用必须消耗至少一个字符禁止空循环// Token.java - 南京邮电大学实验要求的最小字段集 public class Token { public enum TokenType { KEYWORD, IDENTIFIER, INT_CONST, FLOAT_CONST, OPERATOR, DELIMITER, STRING_LITERAL, COMMENT, ERROR } public final TokenType type; public final String value; // 原始输入字符串如 while 或 123 public final int line; // 该 token 起始行号从 1 开始 public final int col; // 该 token 起始列号从 1 开始 public Token(TokenType type, String value, int line, int col) { this.type type; this.value value; this.line line; this.col col; } }参数说明line/col必须在nextToken()中实时更新而非仅在构造时记录。很多学生把col设为当前字符索引导致ab中的列号错成 2实际应为 2但b的列号应为 3——因为占 1 字符b在后第 1 位列号 列号 1。2.3 nextToken() 主循环状态驱动的字符消费逻辑主循环不是逐字符 if-else而是用state变量驱动状态迁移。关键设计每次循环读取一个字符ch根据state和ch查状态转移表或 switch-case进入终态时回退一个字符pushBack(ch)构造 token 并重置state START遇到非法字符如进入ERROR态记录错误位置并跳过该字符// Scanner.java - nextToken() 核心骨架简化版 public Token nextToken() { int startLine this.line; int startCol this.col; int state START; StringBuilder lexeme new StringBuilder(); while (true) { char ch readChar(); // 读取下一个字符自动更新 line/col // 状态迁移逻辑此处用 switch 模拟 DFA switch (state) { case START: if (isLetter(ch)) { lexeme.append(ch); state IN_ID; } else if (isDigit(ch)) { lexeme.append(ch); state IN_NUM; } else if (ch / peekNext() /) { // 预判 // skipSingleLineComment(); return nextToken(); // 递归跳过注释继续找下一个 token } else if (ch / peekNext() *) { // 预判 /* skipMultiLineComment(); return nextToken(); } else if (isOperatorStart(ch)) { lexeme.append(ch); state IN_OPERATOR; } else if (ch ) { state IN_STRING; lexeme.append(ch); } else if (ch || ch \t || ch \r) { // 跳过空白不记录 lexeme continue; } else if (ch \n) { // 行结束但不产生 token continue; } else { // 非法字符 return new Token(Token.TokenType.ERROR, String.valueOf(ch), startLine, startCol); } break; case IN_ID: if (isLetterOrDigitOrUnderscore(ch)) { lexeme.append(ch); } else { pushBack(ch); // 回退非标识符字符 String id lexeme.toString(); if (isKeyword(id)) { return new Token(Token.TokenType.KEYWORD, id, startLine, startCol); } else { return new Token(Token.TokenType.IDENTIFIER, id, startLine, startCol); } } break; // 其他状态IN_NUM, IN_OPERATOR, IN_STRING同理展开... } } }逻辑说明peekNext()是预读函数用于判断//或/*pushBack(ch)将字符放回输入流用char[]缓存或StringReader的reset()实现isKeyword(id)必须用HashSetString预加载关键字列表不能用 if-else 链——否则while123会被误判为while123而实际应整体视为IDENTIFIER。这是南京邮电大学实验评分细则中明确扣分项。3. 关键字与标识符的战争优先级陷阱与保留字表设计词法分析最隐蔽的坑不是语法错误而是语义优先级错配当输入while123时正确行为是输出IDENTIFIER(while123)而非KEYWORD(while)INT_CONST(123)。这要求关键字匹配必须在标识符识别完成后再进行且保留字表必须独立于标识符规则。3.1 为什么不能先匹配关键字若在START态遇到w就启动关键字匹配会强制消费h,i,l导致while123中的123被截断。正确顺序是先按标识符规则消费所有连续字母/数字/下划线 → 得到完整lexeme再查保留字表 → 若命中则返回KEYWORD否则返回IDENTIFIER// 保留字表必须用 O(1) 查询结构 private static final SetString KEYWORDS Set.of( if, else, while, for, return, int, float, void ); private boolean isKeyword(String id) { return KEYWORDS.contains(id); // 注意大小写敏感实验要求全小写 }参数说明南京邮电大学实验用例严格区分大小写IF视为IDENTIFIERif才是KEYWORD。若用TreeSet或ArrayList线性查找O(n)复杂度在长标识符场景下会拖慢性能——虽实验数据量小但体现工程意识。3.2 数字常量的三重嵌套状态十进制/十六进制/浮点的分流0x123、0123、123.45、.5e-2的识别必须用状态嵌套IN_NUM态收到0后需预判下一个字符若为x或X→ 进入IN_HEX态只接受0-9,a-f,A-F若为0-7→ 进入IN_OCTAL态八进制实验虽未要求但需兼容若为.→ 进入IN_FLOAT_DECIMAL态IN_FLOAT_DECIMAL收到e或E→ 进入IN_FLOAT_EXPONENT态需处理/-符号case IN_NUM: if (ch 0 ch 9) { lexeme.append(ch); } else if (ch x || ch X) { // 检查前一个字符是否为 0 if (lexeme.length() 1 lexeme.charAt(0) 0) { lexeme.append(ch); state IN_HEX; } else { // 非法123x 不是十六进制 pushBack(ch); return new Token(Token.TokenType.INT_CONST, lexeme.toString(), startLine, startCol); } } else if (ch .) { lexeme.append(ch); state IN_FLOAT_DECIMAL; } else if (ch e || ch E) { // 错误浮点数指数前必须有小数点或数字如 1e2 非法 pushBack(ch); return new Token(Token.TokenType.INT_CONST, lexeme.toString(), startLine, startCol); } else { pushBack(ch); return new Token(Token.TokenType.INT_CONST, lexeme.toString(), startLine, startCol); } break;注意南京邮电大学实验测试用例包含0xABC和123.45e-6若未实现十六进制和浮点指数会丢失 30% 分数。0x前导零是强制要求0X也必须支持大小写不敏感。4. 那些让老师皱眉的细节行号列号、错误恢复与文件编码南京邮电大学编译原理实验一的评分细则中行号列号准确性占 20%错误处理占 15%而功能正确性仅占 50%。这意味着即使你的while能识别但while在第 5 行第 3 列被报告为第 4 行第 2 列整题直接降档。4.1 行号列号的精确计算换行符的三种形态Windows\r\n、Linux\n、Mac\r的换行符差异会导致line计数错乱。JavaBufferedReader默认按\n分割但read()返回的是原始字节。正确做法用InputStreamReader指定UTF-8编码避免中文路径乱码每次read()后检查ch若ch \n→line,col 1若ch \r→ 检查下一个字符是否为\n若是则line,col 1并跳过\n否则line,col 1旧 Mac 兼容// Scanner 构造时指定编码 public Scanner(String filename) throws IOException { this.reader new BufferedReader( new InputStreamReader( new FileInputStream(filename), StandardCharsets.UTF_8 ) ); } // readChar() 中的换行处理 private char readChar() throws IOException { int ch reader.read(); if (ch -1) return EOF; if (ch \n) { line; col 1; } else if (ch \r) { // 预读下一个字符 int next reader.read(); if (next \n) { // \r\n 组合只计一次换行 line; col 1; } else { // 单独 \r按换行处理 reader.unread(next); // 将 next 放回 line; col 1; } } else { col; // 普通字符列号递增 } return (char) ch; }逻辑说明col从 1 开始计数人类习惯line在读到换行符后立即自增。unread()是BufferedReader的关键方法用于回退预读字符——若不用它\r\n会被当作两个换行。4.2 错误恢复如何让分析器不死在第一个错别字上实验要求词法分析器不能因单个错误崩溃而要跳过错误字符继续分析后续 token。常见错误类型非法字符,$→ 报告ERRORtoken然后continue字符串未闭合hello→ 读到文件末尾时报ERROR(unclosed string)返回EOF注释未闭合/* comment→ 同样报错并终止// 在 START 态处理非法字符 else { // 记录错误位置跳过该字符继续 Token errorToken new Token(Token.TokenType.ERROR, illegal character: ch, startLine, startCol); // 注意不 pushBack直接 consume 此字符 return errorToken; }参数说明南京邮电大学实验报告要求提交错误日志因此ERRORtoken 的value字段必须包含可读描述如illegal character: 而非仅String.valueOf(ch)。这是助教人工阅卷时的加分项。5. 避坑指南南京邮电大学编译原理实验一的 5 个血泪现场5.1 现象nextToken()返回null程序空指针崩溃原因未处理文件末尾EOF情况。当reader.read()返回-1时readChar()应返回特殊EOF字符而nextToken()在START态收到EOF时必须返回null或new Token(EOF, , line, col)。解决在readChar()中ch -1时返回\0或定义EOF \u0000并在nextToken()主循环开头加if (ch EOF) return null;。5.2 现象中文注释//你好被识别为//你好两个 token原因skipSingleLineComment()函数未读取到行尾\n或 EOF而是只跳过//后第一个字符。解决skipSingleLineComment()必须循环读取直到\n或 EOF并更新line/col。示例private void skipSingleLineComment() throws IOException { while (true) { int ch reader.read(); if (ch \n || ch -1) { if (ch \n) line; col 1; break; } // 更新 col中文字符占多个字节但 reader.read() 返回 Unicode 码点col 按字符数计 col; } }5.3 现象0xGHI被当作合法十六进制数原因IN_HEX态未校验字符范围G被无条件接受。解决在IN_HEX态中ch必须满足(ch 0 ch 9) || (ch a ch f) || (ch A ch F)否则pushBack(ch)并返回INT_CONST(0x)或报错。5.4 现象a被识别为IDENTIFIER(a)OPERATOR()OPERATOR()而非IDENTIFIER(a)OPERATOR()原因运算符匹配未实现最长匹配原则Maximal Munch Rule。和都是合法运算符但更长应优先匹配。解决在IN_OPERATOR态中读取第一个后预读下一个字符若为则构造若为则构造否则回退并返回。case IN_OPERATOR: if (ch ) { if (peekNext() ) { // 预读 readChar(); // 消费第二个 return new Token(Token.TokenType.OPERATOR, , startLine, startCol); } else { return new Token(Token.TokenType.OPERATOR, , startLine, startCol); } } // 其他运算符同理...5.5 现象test.c文件路径含中文如C:\用户\test.c时抛FileNotFoundException原因FileInputStream默认使用系统编码Windows 通常是 GBK而文件名是 UTF-8。解决不用FileInputStream改用Paths.get(filename).toFile()或直接用Files.newBufferedReader(Paths.get(filename), StandardCharsets.UTF_8)。public Scanner(String filename) throws IOException { this.reader Files.newBufferedReader(Paths.get(filename), StandardCharsets.UTF_8); }6. 验证与调试用三组测试用例锁定 95% 的问题南京邮电大学编译原理实验一的验收不是“跑通就行”而是用标准测试用例比对 token 序列。我建议你构建三类验证用例覆盖 95% 的边界场景。不要依赖肉眼检查输出而要用diff或 Java 单元测试比对。6.1 测试用例设计最小完备集测试类型输入示例验证要点南京邮电大学高频考点关键字冲突while123 intx floatywhile123→IDENTIFIER非KEYWORDINT_CONST保留字表查询时机数字混合0x1A 123.45e-2 .5e3 01230x1A→INT_CONST123.45e-2→FLOAT_CONST.5e3→FLOAT_CONST0123→INT_CONST八进制十六进制/浮点/八进制状态分流符号歧义a b-- cd e!f gh ij,--,,!,,必须作为单个OPERATOR而非拆分为最长匹配原则实现6.2 自动化验证脚本用 Java JUnit 生成黄金标准写一个TestScanner类将测试用例文件如test1.c喂给你的Scanner捕获所有Token再与预定义的expectedTokens列表比对Test public void testKeywordConflict() throws IOException { Scanner scanner new Scanner(src/test/resources/test1.c); ListToken actual new ArrayList(); Token token; while ((token scanner.nextToken()) ! null) { actual.add(token); } // 黄金标准手动编写或用可靠工具生成 ListToken expected List.of( new Token(Token.TokenType.IDENTIFIER, while123, 1, 1), new Token(Token.TokenType.IDENTIFIER, intx, 1, 10), new Token(Token.TokenType.IDENTIFIER, floaty, 1, 15) ); assertEquals(expected.size(), actual.size()); for (int i 0; i expected.size(); i) { assertEquals(expected.get(i).type, actual.get(i).type); assertEquals(expected.get(i).value, actual.get(i).value); assertEquals(expected.get(i).line, actual.get(i).line); assertEquals(expected.get(i).col, actual.get(i).col); } }技巧南京邮电大学实验报告要求附“测试用例执行截图”但助教更看重diff结果。我习惯把expectedTokens导出为 CSVtype,value,line,col再用 Pythonpandas读取比对生成 HTML 报告——这样一眼看出哪一行col错了 1 位。行号列号错 1整个 token 序列偏移后续全部错位这是最隐蔽的 bug。6.3 调试技巧在 nextToken() 中埋设断点日志不要等运行完才看结果。在nextToken()开头加System.err.printf(DEBUG: at line %d col %d, state%d, ch%c%n, this.line, this.col, state, ch);然后用javac编译后java -ea YourMainClass运行错误时立刻看到状态机卡在哪一步。南京邮电大学实验室机器通常禁用 GUI 调试器这种System.err日志是唯一救命稻草。最后说句实在话我带过三届南邮编译原理实验助教每年都有学生花 20 小时调while123却没意识到KEYWORDS.contains(id)的id是while123而非while。词法分析不是编程题是状态建模题——画对状态图Java 实现只是体力活图错了代码越优化越偏离。希望帮到你。本文还有配套的精品资源点击获取
