简介这份资源是面向计算机专业学生的编译原理课程实验报告聚焦词法分析器的设计与实现适合正在学习编译原理、需要完成课程实验或巩固词法分析原理的读者参考。报告围绕C语言词法分析子程序展开涵盖实验目的、内容要求、程序清单、调试过程与运行结果并附有思考题与实验收获体会完整呈现了从理论到编码的实践路径。压缩包内共1个doc文档约74KB内容包含SYMBOL.H、BASEDATA.H与Symbol.c等核心代码片段涉及种别码枚举、保留字表、单词字符串表及字符处理逻辑可直接对照理解词法分析器的数据结构与扫描算法。目前已有489人学习下载读者可借此掌握标识符、数字、运算符等标记的识别方法理解有限状态自动机与正则表达式在词法规则中的应用并参考调试思路与思考题拓展实现下划线开头标识符等改进方案为后续语法分析学习打下基础。1. 词法分析器设计实验从 C 源码到 Token 流的完整拆解很多人第一次拿到「词法分析器设计」这个实验题目时第一反应是去翻编译原理教材里那套正则表达式到 NFA 再到 DFA 的推导流程然后发现推导归推导真让你写一个能跑起来、能把一段 C 代码切成 Token 的程序还是不知道从哪下手。这份湖北汽车工业学院的实验报告给了一个非常务实的切入方式不搞自动机生成器直接手写一个字符扫描循环用switch分支把每个字符映射到种别码配合保留字表和标识符缓冲区完成识别。它的核心价值在于——让你真正理解编译器前端第一步在干什么而不是停留在纸面推导。适合正在上编译原理课、需要交实验报告、或者想自己动手写一个简易词法分析器的同学。整份材料包含SYMBOL.H、BASEDATA.H、Symbol.c三个文件代码量不大但麻雀虽小五脏俱全保留字识别、标识符提取、数字常量解析、运算符和界符处理都有涉及。接下来我会按「这份代码怎么跑起来 → 每个模块在干什么 → 参数怎么调 → 哪里容易翻车」的顺序把它拆开讲透。2. 把三个文件跑起来环境搭建与首次编译2.1 文件结构与依赖关系这份实验代码由三个文件组成职责划分很清晰文件名职责关键内容SYMBOL.H数据结构与宏定义种别码枚举SYMBOL、保留字个数WORDLEN、标识符最大长度MAXIDLEN、种别码总数SYMBOLNUMBASEDATA.H基础类型与常量FALSE/TRUE宏、空格和退格字符的十六进制定义Symbol.c词法分析主逻辑保留字表、种别码名称表、Getsym()核心扫描函数、main()驱动循环三个文件的依赖方向是Symbol.c包含basedata.h和symbol.h后者又依赖标准库的stdio.h、stdlib.h。这种分层方式在课程实验里算比较规范的头文件管声明源文件管实现改种别码只需要动SYMBOL.H里的枚举。2.2 编译命令与常见报错处理代码里用了conio.h和ctype.h前者在 Windows 下的 VC/Dev-C 里可以直接用后者是标准库。如果你在 Linux 或 macOS 下编译conio.h会直接报fatal error: conio.h: No such file or directory。解决办法是把#include conio.h去掉同时把代码里用到getch()的地方替换掉——不过这份代码的main()里其实没直接调getch()所以删掉这行 include 通常就能过。在 Windows 下用 Dev-C 或 Visual Studio 建一个控制台项目把三个文件加进去编译命令大致是gcc -o lexer Symbol.c -I.如果用的是 Visual Studio直接新建空项目添加三个文件注意SYMBOL.H和BASEDATA.H要放在与Symbol.c同级目录或者手动在项目属性里加包含路径。编译通过后运行程序会打开一个输出文件代码里用fout写入把识别结果按TOKEN / SYM / NUM三列格式输出。如果你发现运行后没有任何输出大概率是fout没有正确初始化或者文件路径没有写权限检查Init()函数里fopen的返回值。2.3 输入源程序的准备实验要求分析的源程序是一段简单的 C 代码main(){ int x,a,b; float y,c,d; x a b; y c / d; if(xy) x 10; else y 100; }这段代码覆盖了关键字int、float、if、else、标识符main、x、a、b、y、c、d、整数常量10、100、运算符、/、、和界符(、)、{、}、;、,。作为词法分析器的测试输入覆盖面是够的。你需要把这段代码保存成一个文本文件比如test.c然后在Init()函数里把输入文件重定向到这个文件。常见做法是用freopen把stdin重定向freopen(test.c, r, stdin);这行放在main()开头、Init()调用之前。这样Getchar()里的getchar()就会从文件读字符而不是等你手动输入。提示如果你不想改代码也可以在运行程序后手动粘贴源程序最后按 CtrlZWindows或 CtrlDLinux发送 EOF 结束输入。3. Getsym 核心扫描逻辑字符分类与种别码映射3.1 扫描循环的整体骨架Getsym()是整个词法分析器的心脏。它的工作流程可以概括为跳过空白 → 读第一个非空白字符 → 判断字符类别 → 进入对应分支 → 拼出完整 Token → 返回种别码。代码里main()的驱动逻辑是do { flag Getsym(); if (flag) { fprintf(fout, \n%10s %10s %d, token, SNAME[sym], num); } else if (ch ! EOF) { fprintf(fout, \n%10s, token); Errorsym(); } } while (ch ! EOF);Getsym()返回非零表示识别成功返回零表示遇到非法字符。token是全局缓冲区存当前识别出的单词字符串sym是种别码num是数值如果是数字常量的话。3.2 标识符与保留字的区分当首字符是字母或下划线时进入标识符识别分支。逻辑是不断读字符只要还是字母或数字就追加到token里直到遇到非字母数字字符为止。拼完之后拿token去保留字表WORD[]里逐个比对for (i 0; i WORDLEN; i) { if (strcmp(token, WORD[i]) 0) { sym WSYM[i]; return 1; } } sym IDENT; return 1;这里有个关键设计保留字表和种别码表是平行数组WORD[i]对应的种别码就是WSYM[i]。这样查表的时候一次遍历就能同时拿到字符串和种别码不需要额外维护一个映射结构。WORDLEN定义为 13对应 13 个保留字BEGIN、CALL、CONST、DO、END、IF、ODD、PROCEDURE、READ、THEN、VAR、WHILE、WRITE。注意这套保留字其实是 Pascal 风格的和实验要求里那段 C 代码的关键字int、float、else并不完全对应。这是这份代码的一个「历史遗留」问题——它原本可能是为 Pascal 子集设计的后来被拿来当 C 词法分析的实验模板。实际使用时你需要根据待分析的语言调整WORD[]和WSYM[]的内容。3.3 数字常量的识别与转换数字分支的逻辑是读入连续的数字字符拼成字符串后用atoi()转成整数种别码设为NUMBER同时把数值存到全局变量num里。这部分代码在实验报告里没有完整贴出但根据上下文可以推断出大致结构if (isdigit(ch)) { int i 0; while (isdigit(ch)) { token[i] ch; Getchar(); } token[i] \0; num atoi(token); sym NUMBER; return 1; }这里有个细节读完最后一个数字后ch已经指向下一个字符了但这个字符还没有被处理。所以Getsym()的循环设计里每次识别完一个 Token 后不能无条件Getchar()否则会跳过一个字符。常见做法是在Getsym()开头判断ch是否已经被预读如果是则直接使用否则调Getchar()。3.4 运算符与界符的分支处理运算符和界符的处理用switch分支最直观switch (ch) { case : Concat(); sym PLUS; break; case -: Concat(); sym MINUS; break; case *: Concat(); sym TIMES; break; case /: Concat(); sym SLASH; break; case : Concat(); sym EQL; break; case : Concat(); sym LSS; break; case : Concat(); sym GTR; break; case (: Concat(); sym LPAREN; break; case ): Concat(); sym RPAREN; break; case ,: Concat(); sym COMMA; break; case ;: Concat(); sym SEMICOLON; break; case {: Concat(); sym BEGINSYM; break; case }: Concat(); sym ENDSYM; break; default: return 0; } return 1;Concat()的作用是把当前字符追加到token缓冲区然后调Getchar()读下一个字符。这样每个单字符运算符都能正确生成一个 Token。但这里有个问题、、!、这类双字符运算符没有处理。如果待分析代码里出现了当前逻辑会把它拆成和两个 Token这显然不对。要支持双字符运算符需要在case 分支里再预读一个字符判断是不是如果是则种别码设为LEQ否则回退。回退操作在文件流里比较麻烦常见做法是用一个全局的char变量做预读缓冲而不是直接操作文件指针。3.5 种别码名称表的输出映射SNAME[]数组的作用是把枚举值转成可读字符串方便输出到报告文件里。比如sym IDENT时SNAME[sym]就是IDENT。这个数组的顺序必须和SYMBOL枚举严格一致否则输出会张冠李戴。枚举里NOL是 0IDENT是 1NUMBER是 2依此类推SNAME[]的第 0、1、2 个元素也必须是NOL、IDENT、NUMBER。如果你新增了种别码比如加一个STRING类型需要同时改三处枚举里加、SNAME[]里加对应字符串、SYMBOLNUM宏加一。漏掉任何一处都会导致数组越界或者输出错位。4. 避坑与排查实验里最容易翻车的五个点4.1 现象编译报错conio.h找不到原因conio.h是 Windows 下特有的控制台输入输出头文件Linux 和 macOS 的标准 C 库不提供。解决直接删掉#include conio.h。这份代码里conio.h主要提供getch()但main()里并没有直接调用删掉不影响核心逻辑。如果后续代码里确实用到了getch()可以用getchar()替代或者用termios库自己实现无回显读取。4.2 现象识别结果里标识符和保留字混在一起原因保留字表WORD[]里放的是 Pascal 关键字BEGIN、END、IF等但待分析的 C 代码里用的是int、float、else。这些词不在保留字表里所以全被当成IDENT输出。解决根据待分析语言修改WORD[]和WSYM[]。如果要分析 C 代码把WORD[]改成{int, float, if, else, while, return, ...}WSYM[]对应改成{INTSYM, FLOATSYM, IFSYM, ELSESYM, WHILESYM, RETURNSYM, ...}同时更新WORDLEN和SYMBOLNUM。注意枚举里新增的种别码要放在合适位置SNAME[]也要同步加。4.3 现象数字后面紧跟字母时识别错误原因比如10abc数字分支读到0后遇到a停止返回NUMBER但a没有被消费。下一轮Getsym()从a开始读又识别出一个IDENT。这其实是正确的词法行为——10abc在 C 里本来就是非法 Token词法分析器把它拆成10和abc两个 Token 是合理的。但如果你期望它报错就需要在数字分支结束后检查下一个字符是否是字母如果是则报错。解决在数字识别循环结束后加一个判断if (isalpha(ch) || ch _) { // 数字后面紧跟字母非法 return 0; }4.4 现象程序运行后输出文件为空原因fout文件指针没有正确初始化或者Init()函数里fopen失败但没有检查返回值。解决在Init()里加错误检查fout fopen(output.txt, w); if (fout NULL) { printf(无法打开输出文件\n); exit(1); }另外确认当前工作目录有写权限。在 Visual Studio 里默认工作目录是项目目录不是exe所在目录这一点容易搞混。4.5 现象最后一个 Token 丢失原因main()的循环条件是while (ch ! EOF)但Getsym()在识别完最后一个 Token 后ch可能已经是EOF了循环直接退出最后一个 Token 没有被输出。解决把循环改成先执行后判断或者用do-while结构。更稳妥的做法是在Getsym()返回后立即输出然后再判断ch是否EOF。代码里用的是do-while理论上不会丢但如果你改成了while循环就要注意这个边界。5. 进阶改造支持下划线标识符与双字符运算符5.1 支持下划线开头的标识符实验的思考题问的就是这个。当前代码里标识符的首字符判断大概率是isalpha(ch)只认字母。要支持下划线改成if (isalpha(ch) || ch _) { int i 0; while (isalnum(ch) || ch _) { token[i] ch; Getchar(); } token[i] \0; // 查保留字表... }关键改动有两处首字符判断加|| ch _循环条件里把isdigit换成isalnum并加|| ch _。这样_count、__init__、my_var这类标识符就能正确识别了。5.2 支持双字符运算符、、!、这四个双字符运算符在 C 代码里很常见。改造思路是在单字符分支里预读下一个字符case : Concat(); if (ch ) { Concat(); sym LEQ; } else { sym LSS; } break; case : Concat(); if (ch ) { Concat(); sym GEQ; } else { sym GTR; } break; case !: Concat(); if (ch ) { Concat(); sym NEQ; } else { sym NOL; // 单独的 ! 在 C 里是逻辑非需要新增种别码 } break; case : Concat(); if (ch ) { Concat(); sym EQL; // 注意这里 EQL 原本表示赋值需要区分 } else { sym BECOMES; } break;这里有个坑原来的枚举里EQL和BECOMES的语义可能和 C 语言不一致。在 C 里是赋值是相等判断。你需要根据实际语义调整枚举命名和SNAME[]里的字符串。如果不想动枚举也可以新增ASSIGN和EQ两个种别码把原来的EQL和BECOMES保留给其他用途。5.3 用状态机思路重构 Getsym当前Getsym()用的是switch-case加if-else的混合结构代码能跑但扩展性一般。如果你想让它更规整可以改成显式状态机定义几个状态START、IN_ID、IN_NUM、IN_OP用一个while循环驱动状态转移每个状态里根据当前字符决定下一个状态和动作。这种写法在增加新 Token 类型时更不容易出错也更容易和教材里的 DFA 理论对应上。我自己的习惯是每次改完词法分析器都会拿一段包含所有 Token 类型的测试代码跑一遍逐行核对输出。特别是边界情况——文件末尾没有换行、连续多个空格、Tab 和空格混用、注释符号——这些地方最容易出玄学 bug。从那以后我每次交实验报告前都强制走一遍「全 Token 覆盖测试」确认每个种别码都至少出现一次输出格式对齐无误才敢点提交。希望帮到你。本文还有配套的精品资源点击获取
