利用LEX自动生成词法分析程序
利用LEX自动生成词法分析程序
摘要：《编译原理》是国内外各高等院校计算机科学技术类专业，特别是计算机专业的一门重要专业课程。该课程系统地向学生介绍编译程序的结构、工作流程及编译程序各组成部分的设计原理和实现技术编译原理涉及词法分析，语法分析，语义分析及优化设计等各方面。词法分析阶段是编译过程的第一个阶段，是编译的基础。这个阶段的任务是从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然后根据构词规则识别单词(也称单词符号或符号)。词法分析程序实现这个任务。词法分析程序可以使用Lex等工具自动生成。本课设是用lex自动生成简单的c语言词法分析程序。
关键字：lex c语言词法分析程序
引言
词法分析程序是对代码中单词的分析，是编译过程的第一阶段，在这个阶段中从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然后根据构词规则识别单词(也称单词符号或符号)。Lex是一个广泛的使用工具，UNIX系统中使用lex命令调用。它用于构造各种各样的语言词法分析程序。词法分析是所有分析优化的基础，涉及的知识较少，如状态转换图等，易于实现。下面将论述lex构造简单C语言的词法分析程序，深刻地去理解词法分析。
1概述
1.1设计目标
对C语言设计并实现一个简单的词法分析器，要求能够掌握编译原理的基本理论,，理解编译程序的基本结构，掌握编译各阶段的基本理论和技术，掌握编译程序设计的基本理论和步骤.，增强编写和调试高级语言源程序的能力，掌握词法分析的基本概念和实现方法，熟悉C语言的各种Token。
1.2设计内容
用lex对C语言设计并实现一个简单的词法分析器，并用C语言代码进行测试，用二元式的方式给出测试结果。
2设计原理
基于Parser Genarator的词法分析器构造方法。Lex输入文件由3个部分组成：定义集（definition），规则集（rule）和辅助程序集（auxiliary routine）或用户程序集（user routine）。这三个部分由位于新一行第一列的双百分号分开，因此，Lex输入文件的格式如下
{definitions}
%%
{rules}
%%
{auxiliary routines}
而且第一部分用“%{”和“%}”括起来。
第一和第三个部分为C语言的代码和函数定义，第二个部分为一些规则。
2.1正规式定义
定义正则表达式如下
ID = letter letter*
NUM = digit digit*
Letter = a|…|z|A|…|Z
Digit = 0|…|9
Keyword = else|if|int|return|void|while
Special symbol = +|-|*|/|<|<=|>|>=|==|!=|=|;|，|（|）|[|]|{|}|/*|*/
White space = “ ”
Enter = \n
在lex中的构造
letter [A-Za-z]
digit [0-9]
id ({letter}|[_])({letter}|{digit}|[_])*
error_id ({digit})+({letter})+
num {digit}+
whitespace [ \t]+
enter [\n]+
2.2转换规则定义
在Lex中的规则定义构造
定义识别保留字规则"int"|"else"|"return"|"void"|"if"|"while"
{Upper(yytext,yyleng);
printf("%d 行",lineno);
printf("%s reserved word\n",yytext);}//保留字
定义识别数字规则
{num}
{printf("%d 行",lineno);
printf("%s NUM\n",yytext);}//数字
定义识别专用符号规则","|";"|"("|")"|"{"|"}"|"*"|"/"|"+"|"-"|">"|"<"|">="|"<="|"=="|"!="|"="|"/*"|"*/" {printf("%d 行",lineno);
printf("%s special symbol\n",yytext);}//特殊符号
定义识别标识符规则
{id}
{printf("%d 行",lineno);
printf("%s ID\n",yytext);}//标识符
定义识别错误的字符串规则
当开头为数字的后面为字母的字符串时，是错误的标识符。
{error_id}
{printf("error:%s\n",yytext);}//以数字开头的字符自动报错
定义忽略空格规则
{whitespace}
{/* skip whitespace */}//忽略空格
定义忽略回车规则
{enter}
{lineno++;}//遇到回车自动加行号忽略
2.3辅助程序
辅助程序集中包括
主函数main （）和辅助函数toupper（）。
3程序代码实现
Lex代码
//定义集，包括头文件和变量定义
%{
#include
#include
#include
#include
int lineno=1;//定义行号
%}
//定义正则表达式
letter [A-Za-z] //字母
digit [0-9] //数字
id ({letter}|[_])({letter}|{digit}|[_])* //开头为字母的标识符
error_id ({digit})+({letter})+ //开头为数字的错误标识符
num {digit}+ //数字集合
whitespace [ \t]+ //空格
enter [\n]+ //回车
//定义识别规则
%%
//识别保留字"int"|"else"|"return"|"void"|"if"|"while"
{Upper(yytext,yyleng);
printf("%d 行",lineno); //打印行号
printf("%s reserved word\n",yytext);}//输出保留字
//识别数字
{num}
{printf("%d 行",lineno); //打印行号
printf("%s NUM\n",yytext);}//输出数字
//识别专用符号","|";"|"("|")"|"{"|"}"|"*"|"/"|"+"|"-"|">"|"<"|">="|"<="|"=="|"!="|"="|"/*"|"*/" {printf("%d 行",lineno); //打印行号
printf("%s special symbol\n",yytext);}//输出特殊符号
//识别标识符
{id}
{printf("%d 行",lineno);//打印行号
printf("%s ID\n",yytext);}//打印标识符
//识别错误的标识符
{error_id}
{ printf("%d 行",lineno);
printf("error: %s\n",yytext);}//以数字开头的字符自动报错//识别空格
{whitespace}
{/* skip whitespace */}//忽略空格
//识别回车
{enter}
{lineno++;}//遇到回车自动加行号忽略
%%
//转换大小写
Upper(char *s,int l){
int i;
for(i=0;i s[i]=toupper(s[i]); } }//将保留字变为大写 //主函数 main(void) { //定义输入文件名变量 char infilename[400]; printf("输入文件名:"); scanf("%s",&infilename); yyin = fopen(infilename,"r");//读取文件 printf("开始词法分析：\n"); return yylex(); } 4测试结果 测试的C语言代码 词法分析程序分析的结果 5总结 通过本次课程设计的练习，学会运用Lex自动构造词法分析器，学会了基于Parser Genarator的词法分析器构造方法。掌握了词法分析器的原理以及功能。词法分析是编译过程中的一个阶段，在语法分析前进行。也可以和语法分析结合在一起作为一遍，由语法分析程序调用词法分析程序来获得当前单词供语法分析使用。词法分析程序的主要任务：读源程序，产生单词符号。 词法分析程序的其他任务：滤掉空格，跳过注释、换行符追踪换行标志，复制出错源程序，宏展开，等等等等。 词法分析工作从语法分析工作独立出来的原因：简化设计，改进编译效率，增加编译系统的可移植性。而且从划分关键字，运算符，界符，标识符和常量，才发现数字，字母及符号组合有很多很多，无法全部枚举，所以在新建的文本文档中只象征性的列出几种符号， 但这并不影响此法分析结果的完成。 总之，通过本次实验，一点点分析词法分析器的功能，并努力实现它，掌握了课程设计内容的同时也锻炼了自己分析解决问题的能力以及编程能力，收获颇丰！ 参考文献 《编译原理》（第2版）张素琴清华大学出版社 实验一词法分析程序设计与实现 一、实验目的及内容 调试并完成一个词法分析程序，加深对词法分析原理的理解。 二、实验原理（状态转换图） 1、C语言子集 （1）关键字： begin if then while do end 所有关键字都是小写。 （2）运算符和界符： := + –* / < <= <> > >= = ; ( ) # （3）其他单词是标识符（ID）和整型常数（NUM），通过以下正规式定义：ID=letter（letter| digit）* NUM=digit digit * （4）空格由空白、制表符和换行符组成。空格一般用来分隔ID、NUM,运算符、界符和关键字，词法分析阶段通常被忽略。 2、各种单词符号对应的种别码 3、词法分析程序的功能 输入：所给文法的源程序字符串。 输出：二元组（syn，token或sum）构成的序列。 其中：syn为单词种别码； token为存放的单词自身字符串； sum为整型常数。 二、软件平台及工具 PC机以及VISUAL C++6.0软件。 三、实验方法、步骤（或：程序代码或操作过程） （1）程序代码： #include 编译原理实验报告实验名称：实验一编写词法分析程序 实验类型：验证型实验 指导教师：何中胜 专业班级：13软件四 姓名：丁越 学号： 电子邮箱： 实验地点：秋白楼B720 实验成绩： 日期：2016年3 月18 日 一、实验目的 通过设计、调试词法分析程序，实现从源程序中分出各种单词的方法；熟悉词法分析 程序所用的工具自动机，进一步理解自动机理论。掌握文法转换成自动机的技术及有穷自动机实现的方法。确定词法分析器的输出形式及标识符与关键字的区分方法。加深对课堂教学的理解；提高词法分析方法的实践能力。通过本实验，应达到以下目标： 1、掌握从源程序文件中读取有效字符的方法和产生源程序的内部表示文件的方法。 2、掌握词法分析的实现方法。 3、上机调试编出的词法分析程序。 二、实验过程 以编写PASCAL子集的词法分析程序为例 1.理论部分 （1）主程序设计考虑 主程序的说明部分为各种表格和变量安排空间。 数组 k为关键字表，每个数组元素存放一个关键字。采用定长的方式，较短的关键字 后面补空格。 P数组存放分界符。为了简单起见，分界符、算术运算符和关系运算符都放在 p表中 （编程时，还应建立算术运算符表和关系运算符表，并且各有类号），合并成一类。 id和ci数组分别存放标识符和常数。 instring数组为输入源程序的单词缓存。 outtoken记录为输出内部表示缓存。 还有一些为造表填表设置的变量。 主程序开始后，先以人工方式输入关键字，造 k表；再输入分界符等造p表。 主程序的工作部分设计成便于调试的循环结构。每个循环处理一个单词；接收键盘上 送来的一个单词；调用词法分析过程；输出每个单词的内部码。 ⑵词法分析过程考虑 将词法分析程序设计成独立一遍扫描源程序的结构。其流程图见图1-1。 图1-1 该过程取名为 lexical，它根据输入单词的第一个字符（有时还需读第二个字符），判断单词类，产生类号：以字符 k表示关键字；i表示标识符；c表示常数；p表示分界符；s表示运算符（编程时类号分别为 1，2，3，4，5）。 对于标识符和常数，需分别与标识符表和常数表中已登记的元素相比较，如表中已有 该元素，则记录其在表中的位置，如未出现过，将标识符按顺序填入数组id中，将常数 变为二进制形式存入数组中 ci中，并记录其在表中的位置。 lexical过程中嵌有两个小过程：一个名为getchar，其功能为从instring中按顺序取出一个字符，并将其指针pint加1；另一个名为error，当出现错误时，调用这个过程， 输出错误编号。 2.实践部分 题目：词法分析器的设计与实现 一、引言................................ 错误!未定义书签。 二、词法分析器的设计 (3) 2.1词的内部定义 (3) 2.2词法分析器的任务及功能 (3) 3 2.2.2 功能： (4) 2.3单词符号对应的种别码： (4) 三、词法分析器的实现 (5) 3.1主程序示意图： (5) 3.2函数定义说明 (6) 3.3程序设计实现及功能说明 (6) 错误!未定义书签。 7 7 四、词法分析程序的C语言源代码： (7) 五、结果分析： (12) 摘要：词法分析是中文信息处理中的一项基础性工作。词法分析结果的好坏将直接影响中文信息处理上层应用的效果。通过权威的评测和实际应用表明,IRLAS是一个高精度、高质量的、高可靠性的词法分析系统。众所周知,切分歧义和未登录词识别是中文分词中的两大难点。理解词法分析在编译程序中的作用，加深对有穷自动机模型的理解，掌握词法分析程序的实 现方法和技术，用c语言对一个简单语言的子集编制一个一遍扫描的编译程序，以加深对编译原理的理解,掌握编译程序的实现方法和技术。Abstract:lexical analysis is a basic task in Chinese information processing. The results of lexical analysis will directly affect the effectiveness of the application of Chinese information processing. The evaluation and practical application show that IRLAS is a high precision, high quality and high reliability lexical analysis system. It is well known that segmentation ambiguity and unknown word recognition are the two major difficulties in Chinese word segmentation. The understanding of lexical analyse the program at compile, deepen of finite automata model for understanding, master lexical analysis program implementation method and technology, using C language subset of a simple language compilation of a scanned again compiler, to deepen to compile the principle solution, master compiler implementation method and technology. 关键词：词法分析器?扫描器?单词符号?预处理 Keywords: lexical analyzer word symbol pretreatment scanner 一、引言 运用C语言设计词法分析器，由指定文件读入预分析的源程序，经过词法分析器的分析，将结果写入指定文件。本程序是在Visual?Studio环境下，使用C语言作为开发工具。基于实验任务 实验1-3 《编译原理》S语言词法分析程序设计方案 一、实验目的 了解词法分析程序的两种设计方法之一：根据状态转换图直接编程的方式； 二、实验内容 1．根据状态转换图直接编程 编写一个词法分析程序，它从左到右逐个字符的对源程序进行扫描，产生一个个的单词的二元式，形成二元式（记号）流文件输出。在此，词法分析程序作为单独的一遍，如下图所示。 具体任务有： （1）组织源程序的输入 （2）拼出单词并查找其类别编号，形成二元式输出，得到单词流文件 （3）删除注释、空格和无用符号 （4）发现并定位词法错误，需要输出错误的位置在源程序中的第几行。将错误信息输出到屏幕上。 （5）对于普通标识符和常量，分别建立标识符表和常量表（使用线性表存储），当遇到一个标识符或常量时，查找标识符表或常量表，若存在，则返回位置，否则返回0并且填写符号表或常量表。 标识符表结构：变量名，类型（整型、实型、字符型），分配的数据区地址 注：词法分析阶段只填写变量名，其它部分在语法分析、语义分析、代码生成等阶段逐步填入。 常量表结构：常量名，常量值 三、实验要求 1．能对任何S语言源程序进行分析 在运行词法分析程序时，应该用问答形式输入要被分析的S源语言程序的文件名，然后对该程序完成词法分析任务。 2．能检查并处理某些词法分析错误 词法分析程序能给出的错误信息包括：总的出错个数，每个错误所在的行号，错误的编号及错误信息。 本实验要求处理以下两种错误（编号分别为1，2）： 1：非法字符：单词表中不存在的字符处理为非法字符，处理方式是删除该字符，给出错误信息，“某某字符非法”。 2：源程序文件结束而注释未结束。注释格式为：/* …… */ 四、保留字和特殊符号表 昆明理工大学信息工程与自动化学院学生实验报告 （2012 —2013 学年第 1 学期） 课程名称：编译原理开课实验室：信自楼44 年月日 一、实验目的及内容 设计、编制、调试一个词法分析子程序－识别单词，加深对词法分析原理的理解。 二、实验原理及基本技术路线图（方框原理图或程序流程图） 对给定的程序通过词法分析器弄够识别一个个单词符号，并以二元式(单词种别码，单词符号的属性值)显示。而本程序则是通过对给定路径的文件的分析后以单词符号和文字提示显示。 三、所用仪器、材料（设备名称、型号、规格等或使用软件） W INDOWS下的VISUAL C++6.0; 四、实验方法、步骤（或：程序代码或操作过程） #include #define MAX 22 char ch =' '; string key[15]={"begin","end","if","then","else","while","write","read", "do", "call","const","char","until","procedure","repeat"}; int Iskey(string c){ //关键字判断 int i; for(i=0;i 词法分析器实验报告 一、实验目的及要求 本次实验通过用C语言设计、编制、调试一个词法分析子程序，识别单词，实现一个C语言词法分析器，经过此过程可以加深对编译器解析单词流的过程的了解。 运行环境： 硬件：windows xp 软件：visual c++6.0 二、实验步骤 1.查询资料，了解词法分析器的工作过程与原理。 2.分析题目，整理出基本设计思路。 3.实践编码，将设计思想转换用c语言编码实现，编译运行。 4.测试功能，多次设置包含不同字符，关键字的待解析文件，仔细察看运行结果，检测该分析器的分析结果是否正确。通过最终的测试发现问题，逐渐完善代码中设置的分析对象与关键字表，拓宽分析范围提高分析能力。 三、实验内容 本实验中将c语言单词符号分成了四类：关键字key（特别的将main说明为主函数）、普通标示符、常数和界符。将关键字初始化在一个字符型指针数组*key[]中，将界符分别由程序中的case列出。在词法分析过程中，关键字表和case列出的界符的内容是固定不变的（由程序中的初始化确定），因此，从源文件字符串中识别出现的关键字，界符只能从其中选取。标识符、常数是在分析过程中不断形成的。 对于一个具体源程序而言，在扫描字符串时识别出一个单词，若这个单词的类型是关键字、普通标示符、常数或界符中之一，那么就将此单词以文字说明的形式输出．每次调用词法分析程序，它均能自动继续扫描下去，形成下一个单词，直到整个源程序全部扫描完毕，从而形成相应的单词串。 输出形式例如：void $关键字 流程图、程序流程图： 程序： #include #include 编译原理词法分析程序设计实验报告 【实验目的】 1．了解词法分析的主要任务。 2．熟悉编译程序的编制。 【实验容】 根据某文法，构造一基本词法分析程序。找出该语言的关键字、标识符、整数以及其他一些特殊符号，给出单词的种类和值。 【实验要求】 1.构造一个小语言的文法 类C小语言文法（以EBNF表示） <程序>：：=<分程序>{<分程序>} . <分程序>：：=<标识符>’(’<变量说明部分>{,<变量说明部分>}’)’<函数体> <变量说明部分>：：=int<标识符>{,<标识符>} <函数体>：：=’{’[<变量说明部分>;]<语句序列>’}’ <语句序列>：：=<语句序列>;<语句>|<语句> <语句>：：=<赋值语句>|<条件语句>|<循环语句>|<函数调用语句> <赋值语句>：：=<标识符>=<表达式> <表达式>：：=[+|-]<项>{<加法运算符><项>} <项>：：=<因子>{<乘法运算符><因子>} <因子>：=<标识符>|<无符号整数> <加法运算符>：：= +|- <乘法运算符>：：= *|/ <条件语句>：：=if<条件>’{’<语句序列>’}’[else’{’<语句序列>’}’] <条件>：：=<表达式><关系运算符><表达式> <关系运算符>：：= ==|!=|>|<|>=|<= <循环语句>：：=for’(’<表达式>;<条件>;<表达式>’)’ ’{’<语句序列>’}’ <函数调用语句>：：=<标识符>’(’<标识符>{,<标识符>}|<空>’)’ <标识符>：：=<字母>{<字母>|<数字>} <无符号整数>：：=<数字>{<数字>} <字母>：：=a|b|c|…|X|Y|Z <数字>：：=0|1|2|…|8|9 单词分类情况 关键字：int if else for 标识符：以字母开头的字母和数字的组合 关系运算符： ==|!=|>|<|>=|<= 加法运算符：+|- 乘法运算符： *|/界符：，；{ } ( ) 2.设计单词的输出形式，单词的种类和值的表示方法 种别码单词值 如：1 int 3. 编写词法分析程序cffx.c 实现基本的词法分析器，能够分析关键字、标识符、数字、运算符（需要有“==”或“：=”之类需要超前搜索的运算符）以及其他一些符号。 // 编译原理词法分析程序.cpp #include ` 实验一词法分析程序设计与实现 一、实验目的及容 调试并完成一个词法分析程序，加深对词法分析原理的理解。 二、实验原理（状态转换图） 1、C语言子集 （1）关键字： begin if then while do end 所有关键字都是小写。 （2）运算符和界符： := + – * / < <= <> > >= = ; ( ) # （3）其他单词是标识符（ID）和整型常数（NUM），通过以下正规式定义：ID=letter（letter| digit）* NUM=digit digit * （4）空格由空白、制表符和换行符组成。空格一般用来分隔ID、NUM,运算符、界符和关键字，词法分析阶段通常被忽略。 2、各种单词符号对应的种别码 文档Word ` 3、词法分析程序的功能 输入：所给文法的源程序字符串。 输出：二元组（syn，token或sum）构成的序列。其中：syn为单词种别码； token为存放的单词自身字符串； sum为整型常数。 二、软件平台及工具 PC机以及VISUAL C++6.0软件。 三、实验方法、步骤（或：程序代码或操作过程）（1）程序代码： #include 词法分析器实验报告 词法分析器设计 一、实验目的： 对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状 态转换图设计词法分析器的基本方法。利用该词法分析器完成对源程 序字符串的词法分析。输出形式是源程序的单词符号二元式的代码， 并保存到文件中。 二、实验内容： 1. 设计原理 词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。 理论基础：有限自动机、正规文法、正规式 词法分析器(Lexical Analyzer) 又称扫描器(Scanner)：执行词法分析的程序 2. 词法分析器的功能和输出形式 功能:输入源程序、输出单词符号 程序语言的单词符号一般分为以下五种：关键字、标识符、常数、运算符,界符 3. 输出的单词符号的表示形式: 单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。 4. 词法分析器的结构 单词符号 5. 状态转换图实现 三、程序设计 1．总体模块设计 /*用来存储目标文件名*/ string file_name; /*提取文本文件中的信息。*/ string GetText(); /*获得一个单词符号,从位置i开始查找。并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。*/ string GetWord(string str,int i,int& j); /*这个函数用来除去字符串中连续的空格和换行 int DeleteNull(string str,int i); /*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/ bool IsBoundary(string str,int i); /*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/ bool IsOperation(string str,int i); 单词的词法分析程序设计 1实验题目 对于给定的源程序（如C语言或Pascal等），要求从组成源程序的字符行中寻找出单词，并给出它们的种别和属性——输出二元组序列。以便提供给语法分析的时候使用。要求能识别所有的关键字，标志符等，并且能够对出先的一些词法规则的错误进行必要的处理。 2 实验内容和要求 1. 给出语言的词法规则描述 2. 要求识别标识符、关键字、整常数、字符常数、浮点常数等 3. 要求能识别单界符：+，-，÷，×，：等符号 4. 双界符：/*，：=，等 5. 要求完成一些相关的辅助任务。一个任务实滤掉源程序中的注释、空格、制表符、换行符；另一个任务是使编译器能够将发现的错误信息与源程序的出错位置联系起来，以及错误的类型等。 3 待分析的词法文件 文件名称为：C:\1.txt (分析结果见7：程序结果) 4实验分析与设计过程 实验分析与设计过程 1. 实验说明 分析语言的选择：由于对C语言比较熟悉，我选择分析的程序为C语言编写的程序。 2. 词法分析器的功能以及输出形式分析 1) 功能： i. 对于输入的C源程序，输出单词符号，把相应的源程序的字符串转 换成单词符号的序列。 ii. 保存符号表，为所有的标识符建立一个符号表，以便于在语法和语义分析的时候使用。 iii. 错误输出与提示 2) 结果输出形式： i. 对于token用二元组输出， ii. 符号表可以单独输出到文件中 iii. 错误输出到界面即可 3. 单词符号的表示 各种关键字（保留字、基本字），各种运算符、各种分界符，都用一个种别码来标识。例：关键字break、保留字asm、运算符”+”、在源程序中1,2,3表示。即所规定得到的中别码对应的词法描述为： 1为关键字2为标志符 3为常数4为运算符或界符 5 算法描述 由于这是一个用高级语言编写一个词法分析器,使之能识别输入串,并把分析结果(单词符号,标识符,关键字等等)输出.输入源程序,输入单词符号,本词法分析器可以辨别关键字,标识符,常数,运算符号和某些界符,运用了文件读入来获取源程序代码,再对该源程序代码进行词法分析,这就是词法分析器的基本功能.当词法分析器调用预处理子程序处理出一串输入字符放进扫描缓冲区之后,分析器就从此缓冲区中逐一识别单词符号.当缓冲区里的字符串被处理完之后,它又调用预处理子程序来处理新串. 编写的时候，使用了文件的输入和输出，以便于词法分析的通用型，同时在文件输出时，并保存在输出文件output文件中。 从左到右扫描程序，通过初始化：1为关键字；2为标志符； 3为常数；4为运算符或界符。 扫描过程如下： 1．指针扫描所打开的文件首，如果是字母开始处理字符关键字或者标识符2．为单字符运算、限界符，写入输出文件并将扫描文件指针回退一个字符； 3．为双字符运算、限界符，写输出文件； 4．读入的下一个字符为文件结束符； 5．只考虑是否为单字符运算、限界符，若是，写输出文件 理工大学信息工程与自动化学院学生实验报告 （2012 —2013学年第一学期） 一、实验目的及容 编译技术是理论与实践并重的课程，而其实验课要综合运用所学的多门课程的容，用来完成一个小型编译程序。从而巩固和加强对词法分析、语法分析、语义分析、代码生成和报错处理等理论的认识和理解；培养学生对完整系统的独立分析和设计的能力，进一步培养学生的独立编程能力。 调试并完成一个词法分析程序，加深对词法分析原理的理解。 二、实验原理及基本技术路线图（框原理图或程序流程图） 1、待分析的简单语言的词法 （1）关键字： begin if then while do end 所有关键字都是小写。 （2）运算符和界符： := + –* / < <= <> > >= = ; ( ) # （3）其他单词是标识符（ID）和整型常数（NUM），通过以下正规式定义：ID=letter（letter| digit）* NUM=digit digit * （4）空格由空白、制表符和换行符组成。空格一般用来分隔ID、NUM,运算符、界符和关键字，词法分析阶段通常被忽略。 2、各种单词符号对应的种别码 3、词法分析程序的功能 输入：所给文法的源程序字符串。 输出：二元组（syn，token或sum）构成的序列。 其中：syn为单词种别码； token为存放的单词自身字符串； sum为整型常数。 二、所用仪器、材料（设备名称、型号、规格等或使用软件） 1台PC以及VISUAL C++6.0软件。 三、实验法、步骤（或：程序代码或操作过程） （1）程序代码： #include 实验2 词法分析程序的设计 一、实验目的 掌握计算机语言的词法分析程序的开发方法。 二、实验内容 编制一个能够分析三种整数、标识符、主要运算符和主要关键字的词法分析程序。 三、实验要求 1、根据以下的正规式，编制正规文法，画出状态图； 标识符<字母>(<字母>|<数字字符>)* 十进制整数0 | (（1|2|3|4|5|6|7|8|9）（0|1|2|3|4|5|6|7|8|9）*) 八进制整数0（1|2|3|4|5|6|7）（0|1|2|3|4|5|6|7）* 十六进制整数0x（0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f）（0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f）* 运算符和界符+ - * / > < = ( ) ； 关键字if then else while do 2、根据状态图，设计词法分析函数int scan( )，完成以下功能： 1）从文本文件中读入测试源代码，根据状态转换图，分析出一个单词， 2）以二元式形式输出单词<单词种类，单词属性> 其中单词种类用整数表示： 0：标识符 1：十进制整数 2：八进制整数 3：十六进制整数 运算符和界符，关键字采用一字一符，不编码 其中单词属性表示如下： 标识符，整数由于采用一类一符，属性用单词表示 运算符和界符，关键字采用一字一符，属性为空 3、编写测试程序，反复调用函数scan( )，输出单词种别和属性。 四、实验环境 PC微机 DOS操作系统或Windows 操作系统 Turbo C 程序集成环境或Visual C++ 程序集成环境 五、实验步骤 1、根据正规式，画出状态转换图； 简单词法分析器 1、将源文件中的单词识别出来，以用'$'为首的标识符标记识别出的单词 2、单词符号及内部表示如表： 单词符号种别编码助记符内码值 DIM 1 $DOM — IF 2 $IF — DO 3 $DO — STOP 4 $STOP — END 5 $END — 标识符 6 $ID 内部字符串 常数7 $INT 标准二进制形式= 8 $ASSIGN — + 9 $PLUS — * 10 $STAR — ** 11 $POWER — ; 12 $SEMICOLON — { 13 $LBRACE — } 14 $RBRACE — /* * 词法分析：将源文件中的单词符号一一识别 * 并将其与助记符保存到文本文件 */ #include "iostream" #include "string" using namespace std; //reserve保留字 string reserve[5] = {"DIM","IF","DO","STOP","END"}; //结构体数组，保存已识别的单词 struct table { string str; string name; }table[400]; int count = 0; //判断是否为保留字 bool Reserve(string str) { bool flag = false; for(int i=0; i 编译原理实验报告 一、实验目的 ? 深入理解有限自动机及其应用 ? 掌握词法分析程序的开发。 ? 掌握根据语言的词法规则构造识别其单词的有限自动机的方法 ? 深入理解词法分析程序自动生成原理 二、实验要求 ? 掌握各类单词的形式描述 ?用直接转向法实现有限自动机的代码编写。 ? 独立完成PL0语言的词法分析器。 ? 掌握词法分析程序自动生成工具LEX 的使用。 三、实验原理 词法分析是编译过程的第一阶段。它的任务就是对输入的字符串形式的源程序按顺序进行扫描，根据源程序的词法规则识别具有独立意义的单词（符号），并输出与其等价的Token 序列。 有限自动机是描述程序设计语言单词构成的工具，而状态转换图是有限自动机的比较直观的描述方法。我们使用确定的有限状态自动机，简记为DFA 。 PL/0的语言的词法分析器将要完成以下工作： （1） 跳过分隔符（如空格，回车，制表符）； （2） 识别诸如begin ，end ，if ，while 等保留字； （3） 识别非保留字的一般标识符，此标识符值（字符序列）赋给全局量id ，而全局量sym 赋值为SYM_IDENTIFIER 。 （4） 识别数字序列，当前值赋给全局量NUM ，sym 则置为SYM_NUMBER ； （5） 识别:=，<=，>=之类的特殊符号，全局量sym 则分别被赋值为SYM_BECOMES ，SYM_LEQ ，SYM_GEQ 等。 课程名称： 编译原理 班级： 计算1614 实验成绩： 指导教师： 付永钢 姓名： 施心萍 实验项目名称： 实验一 词法分析程序设计与开发 学号： 201621121097 上机实践日期： /********************************************** *名称：词法分析器 *版本：1.0 *作者：** *2015/4/2 ************************************************/ #include 编译原理课程设计报告 课题名称：编译原理课程设计 C-语言词法与语法分析器的实现 C-词法与语法分析器的实现 1.课程设计目标 （1）题目实用性 C-语言拥有一个完整语言的基本属性，通过编写C-语言的词法分析和语法分析，对于理解编译原理的相关理论和知识有很大的作用。通过编写C-语言词法和语法分析程序，能够对编译原理的相关知识：正则表达式、有限自动机、语法分析等有一个比较清晰的了解和掌握。（2）C-语言的词法说明 ①语言的关键字： else if int return void while 所有的关键字都是保留字，并且必须是小写。 ②专用符号： + - * / < <= > >= == != = ; , ( ) [ ] { } /* */ ③其他标记是ID和NUM，通过下列正则表达式定义： ID = letter letter* NUM = digit digit* letter = a|..|z|A|..|Z digit = 0|..|9 注：ID表示标识符，NUM表示数字，letter表示一个字母，digit表示一个数字。 小写和大写字母是有区别的。 ④空格由空白、换行符和制表符组成。空格通常被忽略。 ⑤注释用通常的c语言符号/ * . . . * /围起来。注释可以放在任何空白出现的位置(即注释不能放在标记)上，且可以超过一行。注释不能嵌套。 （3）程序设计目标 能够对一个程序正确的进行词法及语法分析。 2.分析与设计 （1）设计思想 a.词法分析 词法分析的实现主要利用有穷自动机理论。有穷自动机可用作描述在输入串中识别模式的过程，因此也能用作构造扫描程序。通过有穷自动机理论能够容易的设计出词法分析器。b.语法分析 语法分析采用递归下降分析。递归下降法是语法分析中最易懂的一种方法。它的主要原理是，对每个非终结符按其产生式结构构造相应语法分析子程序，其中终结符产生匹配命令，而非终结符则产生过程调用命令。因为文法递归相应子程序也递归，所以称这种方法为递归子程序下降法或递归下降法。其中子程序的结构与产生式结构几乎是一致的。 （2）程序流程图 程序主流程图： 词法分析: 语法分析： 实验一词法分析程序的设计与实现 一、实验内容 【实验目的和要求】 设计、编制、调试一个具体的词法分析程序，加深对词法分析原理的理解。 【实验内容】 通过对PL/0词法分析程序（GETSYM）的分析，并在此基础上按照附录A中给出的PL/0语言的语法描述，编写一个PL/0语言的词法分析程序。此程序应具有如下功能：输入为字符串（待进行词法分析的源程序），输出为单词串，即由（单词、类别）所组成的二元组序列。 有一定检查错误的能力，例如发现2A这类不能作为单词的字符串。 【实验环境】 Windows PC机，任何语言。 【提交内容】 提交实验报告，报告内容如下： 目的要求、算法描述、程序结构、主要变量名说明、程序清单、调试情况、设计技巧、心得体会。 提交源程序和可执行文件。 【学时】 4课时。 二、实验说明 词法分析程序的任务就是扫描源程序，依据词法规则识别单词并报告构词错误信息。通常将单词分为5种类型。 1）基本字：也叫关键字、保留字，是程序设计语言用来表示特定语法含义的一种标识符，如if、begin等。 2）运算符：如+、-、*、/、:=、>、<等。 3）标识符：用户定义的变量名、常数名、函数名等。不同的高级程序设计语言对关键字是否可以作为普通标识符有不同的要求，有的语言允许程序员使用关键字作为普通标识符，有的程序设计语言则不允许程序员将关键字用着普通标识符（如C/C++、Pascal等都不允许）。在允许程序员将关键字用作普通标识符的程序设计语言的编译器中，编译器必须具备能够区分一个标识符到底是关键字还是普通标识符的功能。 4）常数：如23、6等。 5）界符：如“，”、“；”、“（”、“）”、“.”等。 注意事项 ●空格的作用仅仅是将一个个单词分割开来，源程序中的空格不具备别的语法意义，在语法分析及其后续阶段都没有任何作用，因此，词法分析的另一个工作是过滤空格。 ●注释对整个源程序的编译也没有任何语法意义，只是为了便于阅读和交流，因此，有的编译程序的词法分析程序也负责过滤注释。 ●输出的单词符号采用[单词类别，单词自身值]的二元组形式来表示。 ●为了使扫描程序尽可能的高效，在进行词法分析程序的设计和实现时还需十分注意扫描程序结构的实际细节问题。 ●用于间隔单词的空格和我们通常所说的键盘上的空格是不同的，这里的空格指的是所有能引起一个单词结束的字符，它们包括空格、制表或回车换行符。 ●a*（b+c）这样的没有空格间隔的情况时要正确地识别出所有的单词 ●123ab这样的字符串时，一般字符串的首字符必须为字母，不要将123识别为数字，将ab识别为标识符 转换图说明词法分析程序设计与实现
编译原理实验报告实验一编写词法分析程序
词法分析器的实现与设计
实验1-3 《编译原理》词法分析程序设计方案
编译原理 简单样本语言的词法分析器
实验一、词法分析器(含源代码)
C++实现词法分析器
编译原理词法分析程序的设计实验报告
词法分析程序设计与实现
词法分析器实验报告
单词的词法分析程序设计
编译原理实验报告一 简单样本语言的词法分析器
编译原理实验报告2-词法分析程序的设计
简单词法分析器
实验1 词法分析程序的设计与开发
词法分析器(C语言版)
编译原理课程设计报告C语言词法与语法分析器的实现
词法分析程序的设计与实现
- 实验1-3 《编译原理》词法分析程序设计方案讲课教案
- 词法分析程序实验报告
- 编译原理词法分析器实现
- 词法分析程序设计与实现
- 实验一 词法分析程序设计与实现
- 词法分析器的实现与设计
- 实现词法分析器
- 实验一、词法分析器(含源代码)
- 实验3__识别无符号数的词法分析器设计实现c 汇总
- 实验1-3 《编译原理》词法分析程序设计方案
- 编译原理实验报告实验一编写词法分析程序
- 编译原理-词法分析程序的设计说明
- 词法分析程序实现
- 词法分析报告程序设计与实现
- 用C语言实现词法分析器
- 实验一、词法分析器(含源代码)
- (完整版)《编译原理》词法分析程序设计方案
- 毕业设计编译原理设计报告c语言词法与语法分析器的实现
- 基于flex的词法分析器的设计和实现
- 编译原理实验词法解析总结器的设计及实现.doc