输入一条SQL语句,PostgreSQL如何解析输入的SQL,识别SQL类型以及基表/字段等信息.接下来的几节将逐一进行解析,本节首先介绍解析SQL相关的基础知识:词法分析. ### 一、词法分析 **基本概念** 首先来理清一些基本概念. 词法分析从左向右扫描输入的SQL语句，将其字符流分割成一个个的词(称为token),这些token是输入流中不可再分割的一串字符，类似于英语中单词，或汉语中的词。 SQL语句中token的类别是有限的,一般来说有常量(数值/字符/字符串等),操作符(算术操作符/逻辑操作符等),分隔符(逗号/分号/括号等),保留关键字,标识符(函数名/过程名等).如:1和200.13是数值常量token,'张三'和'广州市'是字符串常量token,+/-等是操作符token等. **Flex简介** 在PostgreSQL中,使用了开源的Flex对SQL进行词法分析. Flex全称为Fast LEXical analyser generator - scanner generator for lexing in C and C++. Flex的输入文件格式为: ``` %{ Declarations(声明) %} Definitions(定义) %% Rules(规则) %% User subroutines(用户子过程) ``` 如: ``` %{ #define T_ZEOR 0 int i = 0; %} NUM ([0-9]+) %% {NUM} printf("?"); //遇到数字,打印? # return T_ZEOR; //遇到字符#,返回0 . ECHO; //遇到其他字符,打印该字符 %% int main(int argc, char* argv[]) { yylex(); return T_ZEOR; } int yywrap() { return 1; } ``` 该例程的运行效果如下: ``` [root@localhost mytest]# ./mytest 1t33..q ?t?..q # ``` **SQL词法分析器** 使用Flex可以实现一个简单的SQL词法分析器,简单分为以下几个步骤: 1.列出SQL中所有类型的token 2.为每种token分配一个唯一的编号,同时写出该token的正则表达式 3.写出每种token的rule *sql.l* ``` %{ int current_linenum = 1; void init(); void elog(char* msg, int line); typedef enum { T_EQUAL = 128 , T_SELECT , T_CONST , T_STRING , T_ID } TokeType; static char* string_token[] = { "T_EQUAL", "T_SELECT", "T_CONST", "T_STRING", "T_ID" }; %} INTEGER ([0-9]+) UNTERM_STRING ("'"[^'\n]*) STRING ("'"[^'\n]*"'") IDENTIFIER ([_a-zA-Z][_a-zA-Z0-9]*) OPERATOR ([+*-/%=,;!<>(){}]) SINGLE_COMMENT ("//"[^\n]*) %% [\n] { current_linenum++; } [ \t\r\a]+ { /* ignore all spaces */ } {SINGLE_COMMENT} { /* skip for single line comment */ } {OPERATOR} { return yytext[0]; } "=" { return T_EQUAL; } "select" { return T_SELECT; } {INTEGER} { return T_CONST; } {STRING} { return T_STRING; } {IDENTIFIER} { return T_ID; } <<EOF>> { return 0; } {UNTERM_STRING} { elog("Unterminated string constant", current_linenum); } . { elog("Unrecognized character", current_linenum); } %% int main(int argc, char* argv[]) { int token; init(); while (token = yylex()) { if(token < 128) printf("%-20c", token); else printf("%-20s",string_token[token - 128]); puts(yytext); } return 0; } void init() { printf("%-20s%s\n", "TOKEN-TYPE", "TOKEN-VALUE"); printf("-------------------------------------------------\n"); } void elog(char* msg, int line) { printf("\nError at line %-3d: %s\n\n", line, msg); } int yywrap(void) { return 1; } ``` *makefile* ``` run: sql ./sql < test.sql sql: lex.yy.c gcc -o $@ $< lex.yy.c: sql.l flex $< ``` *样例SQL脚本* ``` select * from test1 where c1 = 'TEST'; ``` 执行结果: ``` [root@localhost sql]# make ./sql < test.sql TOKEN-TYPE TOKEN-VALUE ------------------------------------------------- T_SELECT select * * T_ID from T_ID test1 T_ID where T_ID c1 = = T_STRING 'TEST' ; ; ``` 上面只是实现了一个非常简单的SQL词法解析器,但思路基本如此,无非是通过穷举所有的token而已. ### 二、参考资料 [Flex on wiki](https://en.wikipedia.org/wiki/Flex_(lexical_analyser_generator) [Flex on github](https://github.com/westes/flex) [Flex&Bison](http://web.iitd.ac.in/~sumeet/flex__bison.pdf)