溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
今天小編給大家分享一下怎么使用Python寫一個簡單的JSONParser的相關知識點，內容詳細，邏輯清晰，相信大部分人都還太了解這方面的知識，所以分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后有所收獲，下面我們一起來了解一下吧。
JSON 的詞法分析，我主要是參考上面這個截圖里面的方式，自己寫了一個簡單的示例。寫得比較簡單，應該說它只能支持 JSON 的一個簡單子集。
這里 TOKEN 的種類，參考了 https://json.org，不過它的 JSON 的語法格式是帶 whitespace 的，我不習慣處理這個，所以沒有參考它的語法。經過詞法分析之后，過濾掉了 空格、換行、制表符，我這里就是簡單的丟棄不處理。
json_tokenizer.py
使用正則表達式來進行 JSON 的詞法分析。
import json
import re
from typing import Dict, List, Union
# TOKEN 的種類
LEFT_BRACE = "LEFT_BRACE" # {
RIGHT_BRACE = "RIGHT_BRACE" # }
LEFT_BRACKET = "LEFT_BRACKET" # ]
RIGHT_BRACKET = "RIGHT_BRACKET" # [
COLON = "COLON" # :
COMMA = "COMMA" # ,
NUMBER = "NUMBER" # ".*?"
STRING = "STRING" # [1-9]\d*
BOOL = "BOOL" # true/false
NULL = "NULL" # null
NEWLINE = "NEWLINE" # \n
SKIP = "SKIP" # ' ', '\t'
MISMATCH = "MISMATCH" # mismatch
# 處理 token 的正則
token_specification = [
('LEFT_BRACE', r'[{]'),
('RIGHT_BRACE', r'[}]'),
('LEFT_BRACKET', r'[\[]'),
('RIGHT_BRACKET', r'[\]]'),
('COLON', r'[:]'),
('COMMA', r'[,]'),
('NUMBER', r'-?[1-9]+[0-9]*'),
('STRING', r'".*?"'),
('BOOL', r'(true)|(false)'),
('NULL', r'null'),
('NEWLINE', r'\n'),
('SKIP', r'[ \t]'),
('MISMATCH', r'.')
]
tok_regex = '|'.join('(?P<%s>%s)' % pair for pair in token_specification)
print("Debug: ", tok_regex)
def process(kind: str, value: str) -> Dict[str, Union[str, bool, int, None]]:
"""
處理輸入的 kind 和 value，并生成 Dict 對象，簡單表示 token 對象
"""
if kind == STRING:
# 去掉外層的雙引號，暫時沒有比較好的方式
return {"kind": kind, "value": value[1:-1]}
if kind == NUMBER:
return {"kind": kind, "value": int(value)}
if kind == BOOL:
if value == "true":
return {"kind": kind, "value": True}
else:
return {"kind": kind, "value": False}
if kind == NULL:
return {"kind": kind, "value": None}
return {"kind": kind, "value": value}
def tokenizer(json_str: str) -> List[Dict[str, Union[str, bool, int, None]]]:
"""
tokenizer
"""
tokens = []
for m in re.finditer(tok_regex, json_str):
# 獲取 token 的類型
kind = m.lastgroup
# 獲取 token 的值
value = m.group()
if kind == MISMATCH:
raise Exception("json format is error")
if kind == NEWLINE:
continue
if kind == SKIP:
continue
token = process(kind=kind, value=value)
tokens.append(token)
return tokens
if __name__ == "__main__":
json_doc = open("./demo.json", "r", encoding="utf-8").read()
tokens = tokenizer(json_doc)
if tokens:
json.dump(tokens, open("./json_tokens.json", "w",
encoding="utf-8"), ensure_ascii=False)我這里把輸入、輸出數(shù)據(jù)全部放在文檔里面了，下面我貼一下我輸入數(shù)據(jù)和部分輸出數(shù)據(jù)。
demo.json
{
"name": "小黑子",
"age": 3,
"gender": false,
"other_info": {
"friends": [
"嘎子",
"潘叔",
"狗"
],
"declaration": "練習時長兩年半",
"hobbies": [
"唱",
"跳",
"rap",
"籃球????"
]
}
}json_token.json 部分數(shù)據(jù)，數(shù)據(jù)我格式化了，所以比較長，這里只截取一部分。
json_parser.py
對上一步生成的 token 序列，進行 parser，生成 JSON 對應的 Dict 對象。parser 的實現(xiàn)參考了 antlr4 的 json 語法文件，它去掉了 whitespace，處理起來更簡單一點。
import json
from typing import Dict, Union
# TOKEN 的種類
LEFT_BRACE = "LEFT_BRACE" # {
RIGHT_BRACE = "RIGHT_BRACE" # }
LEFT_BRACKET = "LEFT_BRACKET" # ]
RIGHT_BRACKET = "RIGHT_BRACKET" # [
COLON = "COLON" # :
COMMA = "COMMA" # ,
NUMBER = "NUMBER" # ".*?"
STRING = "STRING" # [1-9]\d*
BOOL = "BOOL" # true/false
NULL = "NULL" # null
class Token(object):
"""為了簡單，就不創(chuàng)建這個了"""
class JSON_Parser(object):
"""
JSON_Parser the class aims parse input token sequence into a python object or array.
"""
def __init__(self, tokens) -> None:
self.index = 0
self.tokens = tokens
def get_token(self) -> Dict[str, Union[str, int, bool, None]]:
"""
get current's token
"""
if self.index < len(self.tokens):
return self.tokens[self.index]
else:
raise Exception("index out of range.")
def move_token(self) -> Dict[str, Union[str, int, bool, None]]:
"""
move to next token and return it
"""
if self.index + 1 < len(self.tokens):
self.index = self.index + 1
return self.tokens[self.index]
else:
raise Exception("index out of range.")
def parse(self):
"""
parse whole json
"""
token = self.get_token()
if token.get("kind") == LEFT_BRACE:
return self.parse_obj()
elif token.get("kind") == LEFT_BRACKET:
return self.parse_arr()
else:
raise Exception("error json, neither object or array.")
def parse_obj(self):
"""
parse object
"""
obj = {}
token = self.move_token()
kind = token.get("kind")
# '{' '}'
if kind == RIGHT_BRACE:
return obj
# '{' pair (',' pair)* '}'
name, val = self.parse_pair()
obj[name] = val
while self.index < len(self.tokens):
token = self.move_token()
kind = token.get("kind")
if kind == COMMA:
self.move_token()
name, val = self.parse_pair()
obj[name] = val
elif kind == RIGHT_BRACE:
return obj
else:
raise Exception("parse object encounter error")
def parse_arr(self):
"""
parse array
"""
arr = []
token = self.move_token()
kind = token.get("kind")
# '[' ']'
if kind == RIGHT_BRACE:
return arr
# '[' value (',' value)* ']'
val = self.parse_value()
arr.append(val)
while self.index < len(self.tokens):
token = self.move_token()
kind = token.get("kind")
if kind == COMMA:
self.move_token()
val = self.parse_value()
arr.append(val)
elif kind == RIGHT_BRACKET:
return arr
else:
raise Exception("parse array encounter error")
def parse_value(self):
"""
parse value
"""
token = self.get_token()
kind = token.get("kind")
if kind == LEFT_BRACE:
return self.parse_obj()
elif kind == LEFT_BRACKET:
return self.parse_arr()
elif kind == STRING or kind == NUMBER or kind == BOOL:
return token.get("value")
elif kind == NULL:
return
else:
raise Exception("encounter unexcepted token")
def parse_pair(self):
"""
parse pair
"""
token = self.get_token()
kind = token.get("kind")
name = token.get("value")
# STRING ':' value
if kind == STRING:
token = self.move_token()
kind = token.get("kind")
if kind == COLON:
token = self.move_token()
return name, self.parse_value()
raise Exception("parse pair encounter error")
if __name__ == "__main__":
# json token 文件路徑
TOKEN_PATH = "./json_tokens.json"
# 讀取 token 序列
input_tokens = [token for token in json.load(
open(TOKEN_PATH, "r", encoding="utf-8"))]
if not input_tokens:
raise Exception("input token sequence is empty")
# 調試的時候，用來查表的，很方便定位到 index 走到哪一個 token 了
for i, tok in enumerate(input_tokens):
print(f"debug {i:2d} --> {tok}")
print("\n===========================================\n")
parser = JSON_Parser(tokens=input_tokens)
json_obj = parser.parse()
# 再將 object 轉成 json 并格式化后輸出
print(json.dumps(json_obj, ensure_ascii=False, indent=4))輸出結果：
以上就是“怎么使用Python寫一個簡單的JSONParser”這篇文章的所有內容，感謝各位的閱讀！相信大家閱讀完這篇文章都有很大的收獲，小編每天都會為大家更新不同的知識，如果還想學習更多的知識，請關注億速云行業(yè)資訊頻道。
免責聲明：本站發(fā)布的內容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經查實，將立刻刪除涉嫌侵權內容。
