Lexer nhận ra khối thụt lề

Question

Tôi muốn viết trình biên dịch cho ngôn ngữ biểu thị các khối chương trình có khoảng trắng, như trong Python. Tôi thích làm điều này trong Python, nhưng C++ cũng là một lựa chọn. Có một lexer mã nguồn mở có thể giúp tôi làm điều này một cách dễ dàng, ví dụ bằng cách tạo ra các định danh INDENT và DEDENT đúng như Python lexer không? Trình tạo trình phân tích cú pháp tương ứng sẽ là dấu cộng.

Answer 1

LEPL là Python tinh khiết và hỗ trợ phân tích cú pháp việt vị.

Answer 2

Nếu bạn đang sử dụng một cái gì đó giống như lex, bạn có thể làm theo cách này:

^[ \t]+    { int new_indent = count_indent(yytext); 
         if (new_indent > current_indent) { 
          current_indent = new_indent; 
          return INDENT; 
         } else if (new_indent < current_indent) { 
          current_indent = new_indent; 
          return DEDENT; 
         } 
         /* Else do nothing, and this way 
          you can essentially treat INDENT and DEDENT 
          as opening and closing braces. */ 
        } 

Bạn có thể cần một chút lý bổ sung, ví dụ bỏ qua dòng trống, và để tự động thêm một DEDENT tại kết thúc tệp nếu cần.

Có thể count_indent sẽ tính đến việc chuyển đổi tab thành dấu cách theo giá trị dừng tab.

Tôi không biết về trình tạo lexer/parser cho Python, nhưng những gì tôi đăng sẽ hoạt động với lex/flex và bạn có thể móc nó lên yacc/bison để tạo trình phân tích cú pháp. Bạn có thể sử dụng C hoặc C++ với chúng.