C++ token解析方法

在C++中，可以使用詞法分析器（lexer）來(lái)解析token。詞法分析器會(huì)讀取源代碼并將其分解成一個(gè)個(gè)的token，這些token可以是關(guān)鍵字、標(biāo)識(shí)符、運(yùn)算符、常量等。

以下是一個(gè)簡(jiǎn)單的C++代碼示例，展示如何使用詞法分析器來(lái)解析token:

#include <iostream>
#include <sstream>
#include <cctype>

enum TokenType {
    KEYWORD,
    IDENTIFIER,
    OPERATOR,
    CONSTANT
};

struct Token {
    TokenType type;
    std::string value;
};

std::vector<Token> tokenize(const std::string &input) {
    std::vector<Token> tokens;
    std::istringstream inputStream(input);
    std::string tokenValue;

    while (inputStream >> tokenValue) {
        Token token;

        if (tokenValue == "int" || tokenValue == "float" || tokenValue == "double") {
            token.type = KEYWORD;
        } else if (std::isalpha(tokenValue[0])) {
            token.type = IDENTIFIER;
        } else if (std::ispunct(tokenValue[0])) {
            token.type = OPERATOR;
        } else {
            token.type = CONSTANT;
        }

        token.value = tokenValue;
        tokens.push_back(token);
    }

    return tokens;
}

int main() {
    std::string input = "int main() { return 0; }";
    std::vector<Token> tokens = tokenize(input);

    for (const Token &token : tokens) {
        std::cout << "Type: " << token.type << ", Value: " << token.value << std::endl;
    }

    return 0;
}

在上面的例子中，我們定義了一個(gè)簡(jiǎn)單的token結(jié)構(gòu)體，包含類型和值兩個(gè)成員。然后編寫了一個(gè)tokenize函數(shù)，該函數(shù)接受輸入源代碼的字符串，通過(guò)一個(gè)istringstream對(duì)象來(lái)逐個(gè)讀取token并判斷其類型，最后將token存儲(chǔ)在一個(gè)vector中返回。

在main函數(shù)中，我們傳入一個(gè)簡(jiǎn)單的C++代碼字符串，并調(diào)用tokenize函數(shù)解析token，然后打印出每個(gè)token的類型和值。

通過(guò)這種方法，我們可以實(shí)現(xiàn)基本的token解析功能，可以根據(jù)需要擴(kuò)展詞法分析器來(lái)支持更多類型的token。