文章浏览阅读698次。此文档涵盖了词法分析的基础知识。词法分析，作为编译过程中的首步，对于理解源代码有着至关重要的作用。它主要包括正则表达式与有限自动机两大关键概念。正则表达式能够规范地描述词法结构的字符串格式，而有限自动机则在识别这些格式上发挥重要作用。在程序中，符号可以被划分为不同的类别，如保留字、标识符、数字、文本或特殊符号。

使用Java的正则表达式功能，并对Tiny源程序代码进行解析，这个过程实际上是对Tiny语言的模仿。它将源程序的字符串输出文件解析为一个个Token，默认情况下每个Token之间以空格分隔，因此可以利用Java正则表达式将每行按照这种规律分割成Token，之后对每个Token进行类别匹配，最终按类别打印输出。

文章浏览阅读3.1k次，点赞6次，收藏26次。本文深入探讨了编译器的词法分析过程，涵盖了正则式、NFA与DFA的转换、如何从正则式构建NFA、NFA转DFA并最小化，以及在实际开发中如何使用lex/flex进行词法分析。词法分析是编译器不可或缺的一环，它将源代码的字符流转化为词法单元。

chapter 3:Lexical Analysis 词法分析。在这一章节中，我们从源程序的字符串中识别出逻辑单元，以一个语法单元名和一个可选属性组成id。例如，标识符的详细信息可以在符号表的地址为2的地方找到。

按照第二章“Scanning”，也就是“词法分析”的内容，我们需要将以下程序作为样例输入，进行词法分析以获取每个Token及其可能的类别，例如保留字、特殊符号、数值、标识符等。

北京化工大学信息科学与技术学院计算机系赵瑞莲在其著作《编译原理》中，详细阐述了文法的定义、文法和语言的形式定义等内容，为理解词法分析提供了坚实的理论基础。

一、词法分析器的作用。词法分析器的主要任务包括识别源文件中的空格和注释并删除、识别源文件中的lexeme、用token代替源文件中的lexeme，并生成一张symbol table，用于存储token的attribute-value信息。

编译器的第一步称为词法分析。词法分析器读入组成源程序的字符流，并将它们组织成为有意义的词素序列。对于每个词素，词法分析器产生如下形式的词法单元作为输出，这个token将被传递给下一个步骤，即语法分析步骤。

本文档详细介绍了针对SysY语言的词法分析实验，包括实验目的、程序设计思路、主要数据结构和流程，以及测试结果。程序通过识别保留字、运算符和分隔符实现词法分析，并能正确处理注释和错误标识符。测试结果显示程序运行正确，能够准确识别各种元素。