您好,登錄后才能下訂單哦!
這篇文章主要講解了“Python怎么監(jiān)視和衡量網(wǎng)站”,文中的講解內(nèi)容簡(jiǎn)單清晰,易于學(xué)習(xí)與理解,下面請(qǐng)大家跟著小編的思路慢慢深入,一起來研究和學(xué)習(xí)“Python怎么監(jiān)視和衡量網(wǎng)站”吧!
5月初,Google推出了Core Web Vitals,它是其關(guān)鍵Web Vitals指標(biāo)的一部分。
這些指標(biāo)用于提供有關(guān)網(wǎng)站上用戶體驗(yàn)質(zhì)量的指導(dǎo)。
Google將其描述為“幫助量化您的網(wǎng)站體驗(yàn)并確定改進(jìn)機(jī)會(huì)”的一種方式,進(jìn)一步強(qiáng)調(diào)了它們向關(guān)注用戶體驗(yàn)的轉(zhuǎn)變。
核心網(wǎng)絡(luò)生命力是真實(shí)的,以用戶為中心的指標(biāo),用于衡量用戶體驗(yàn)的關(guān)鍵方面。加載時(shí)間,互動(dòng)性和穩(wěn)定性。
除此之外,Google 上周宣布,他們將引入一個(gè)新的搜索排名信號(hào),它將這些指標(biāo)與現(xiàn)有頁(yè)面體驗(yàn)信號(hào)(例如移動(dòng)設(shè)備友好性和HTTPS安全性)結(jié)合在一起,以確保它們繼續(xù)為高質(zhì)量網(wǎng)站提供服務(wù)給用戶。
預(yù)計(jì)此更新將于2021年推出,Google已確認(rèn)不需要立即采取行動(dòng)。
但是,為了幫助我們?yōu)檫@些更改做準(zhǔn)備,他們更新了用于測(cè)量頁(yè)面速度的工具,包括PSI,Google Lighthouse和Google Search Console Speed Report。
Google的PageSpeed Insights是查看網(wǎng)頁(yè)效果摘要的有用工具,它使用現(xiàn)場(chǎng)數(shù)據(jù)和實(shí)驗(yàn)室數(shù)據(jù)來生成結(jié)果。
這是獲得少數(shù)URL概述的好方法,因?yàn)樗侵痦?yè)使用的。
但是,如果您在大型站點(diǎn)上工作,并且希望獲得大規(guī)模的見解,那么該API可以有利于一次分析多個(gè)頁(yè)面,而無需單獨(dú)插入U(xiǎn)RL。
我創(chuàng)建了以下Python腳本來大規(guī)模度量關(guān)鍵性能指標(biāo),以節(jié)省手動(dòng)測(cè)試每個(gè)URL所花費(fèi)的時(shí)間。
該腳本使用Python將請(qǐng)求發(fā)送到Google PSI API,以收集和提取在PSI和Lighthouse中顯示的指標(biāo)。
我決定在Google Colab中編寫此腳本,因?yàn)檫@是開始編寫Python并允許輕松共享的好方法,因此本文將使用Google Colab貫穿整個(gè)安裝過程。
但是,它也可以在本地運(yùn)行,對(duì)數(shù)據(jù)的上傳和下載進(jìn)行一些調(diào)整。
請(qǐng)務(wù)必注意,某些步驟可能需要一些時(shí)間才能完成,尤其是當(dāng)每個(gè)URL通過API運(yùn)行時(shí),為了不使請(qǐng)求過載。
因此,您可以在后臺(tái)運(yùn)行腳本,并在完成步驟后返回到腳本。
讓我們逐步介紹啟動(dòng)和運(yùn)行此腳本所需的步驟。
在開始編寫任何代碼之前,我們需要安裝一些Python程序包,然后才能使用該腳本。這些使用導(dǎo)入功能很容易安裝。
我們需要的軟件包是:
urllib:用于處理,打開,閱讀和解析URL。
json:允許您將JSON文件轉(zhuǎn)換為Python或?qū)ython文件轉(zhuǎn)換為JSON。
request:一個(gè)HTTP庫(kù),用于發(fā)送各種HTTP請(qǐng)求。
pandas:主要用于數(shù)據(jù)分析和處理,我們正在使用它來創(chuàng)建DataFrames。
time:一個(gè)用于處理時(shí)間的模塊,我們正在使用它在請(qǐng)求之間提供時(shí)間間隔。
文件:通過Google Colab,您可以上傳和下載文件。
io:用于訪問文件的默認(rèn)接口。
# Import required packages import json import requests import pandas as pd import urllib import time from google.colab import files import io
下一步是設(shè)置API請(qǐng)求。完整的說明可以在這里找到,但是從本質(zhì)上講,該命令將如下所示:
https://www.googleapis.com/pagespeedonline/v5/runPagespeed?url={yourURL}/&strategy=mobile/&key={yourAPIKey}
這將允許您附加URL,策略(臺(tái)式機(jī)或移動(dòng)設(shè)備)和API密鑰。
要在Python中使用它,我們將使用urllib請(qǐng)求庫(kù)urllib.request.urlopen并將其添加到名為result的變量中,以便我們可以存儲(chǔ)結(jié)果并在腳本中再次使用它們。
# Define URL url = 'https://www.example.co.uk' # API request url result = urllib.request.urlopen('https://www.googleapis.com/pagespeedonline/v5/runPagespeed?url={}/&strategy=mobile'\ .format(url)).read().decode('UTF-8') print(result)
為了測(cè)試API的正確設(shè)置以及對(duì)測(cè)試過程中生成的內(nèi)容的理解,我使用簡(jiǎn)單的urllib.request方法通過API運(yùn)行了一個(gè)URL。
完成此操作后,我將結(jié)果轉(zhuǎn)換為json文件并下載了它,以便查看結(jié)果。
# Convert to json format result_json = json.loads(result) print(result_json) with open('result.json', 'w') as outfile: json.dump(result_json, outfile) files.download('result.json')
(請(qǐng)注意,此方法用于在Google Colab中轉(zhuǎn)換和下載JSON文件。)
JSON文件顯示字段數(shù)據(jù)(存儲(chǔ)在loadingExperience下)和實(shí)驗(yàn)室數(shù)據(jù)(可以在lighthouseResult下找到)。
為了提取所需的指標(biāo),我們可以利用JSON文件的格式,因?yàn)槲覀兡軌蚩吹矫總€(gè)部分下面的指標(biāo)。
下一步是上傳我們要通過PSI API運(yùn)行的URL的CSV文件。您可以通過抓取工具(例如DeepCrawl)生成站點(diǎn)URL的列表。
當(dāng)我們使用API時(shí),建議您在此處使用較小的URL示例集,尤其是在您擁有大型站點(diǎn)的情況下。
例如,您可以使用訪問量最高的頁(yè)面或產(chǎn)生最大收入的頁(yè)面。另外,如果您的站點(diǎn)有模板,則非常適合測(cè)試其中的模板。
您還可以在此處添加column-header變量,我們將在遍歷列表時(shí)使用該變量。確保此名稱與您上傳的CSV文件中的列標(biāo)題名稱匹配:
uploaded = files.upload() #if your column header is something other than 'url' please define it here column_header='url'
(請(qǐng)注意,此方法用于在Google Colab中上傳CSV文件。)
將其上傳后,我們將使用Pandas庫(kù)將CSV轉(zhuǎn)換為DataFrame,我們可以在以下步驟中進(jìn)行迭代。
# Get the filename from the upload so we can read it into a CSV. for key in uploaded.keys(): filename = key # Read the selected file into a Pandas Dataframe df = pd.read_csv(io.BytesIO(uploaded[filename])) df.head()
DataFrame看起來像這樣,從零索引開始。
下一步涉及使用for循環(huán)來迭代剛剛通過PSI API創(chuàng)建的URL的DataFrame。
for循環(huán)使我們可以遍歷上載的列表并為每個(gè)項(xiàng)目執(zhí)行命令。然后,我們可以將結(jié)果保存到響應(yīng)對(duì)象中,并將其轉(zhuǎn)換為JSON文件。
response_object = {} # Iterate through the df for x in range(0, len(df)): # Define request parameter url = df.iloc[x][column_header] # Make request pagespeed_results = urllib.request.urlopen('https://www.googleapis.com/pagespeedonline/v5/runPagespeed?url={}&strategy=mobile'.format(url)).read().decode('UTF-8') # Convert to json format pagespeed_results_json = json.loads(pagespeed_results) # Insert returned json response into response_object response_object[url] = pagespeed_results_json time.sleep(30) print(response_object[url])
我們將在此處使用范圍內(nèi)的x,它表示循環(huán)中正在運(yùn)行的URL,以及(0,len)允許循環(huán)遍歷DataFrame中的所有URL,無論包含多少個(gè)URL 。
該響應(yīng)對(duì)象防止通過重寫相互循環(huán),你的網(wǎng)址,使我們能夠保存數(shù)據(jù)以備將來使用。
這也是在將其轉(zhuǎn)換為JSON文件之前,將使用列標(biāo)題變量定義URL請(qǐng)求參數(shù)的地方。
我還將此處的睡眠時(shí)間設(shè)置為30秒,以減少連續(xù)進(jìn)行的API調(diào)用次數(shù)。
另外,如果您希望更快地提出請(qǐng)求,則可以在URL命令的末尾附加一個(gè)API密鑰。
縮進(jìn)在這里也很重要,因?yàn)槊總€(gè)步驟都是for循環(huán)的一部分,因此必須在命令中縮進(jìn)它們。
我們還需要?jiǎng)?chuàng)建一個(gè)DataFrame來存儲(chǔ)我們要從響應(yīng)對(duì)象中提取的指標(biāo)。
DataFrame是類似于表的數(shù)據(jù)結(jié)構(gòu),具有存儲(chǔ)數(shù)據(jù)的列和行。我們只需要為每個(gè)指標(biāo)添加一列并適當(dāng)?shù)孛缦滤荆?/p>
# Create dataframe to store responses df_pagespeed_results = pd.DataFrame(columns= ['url', 'Overall_Category', 'Largest_Contentful_Paint', 'First_Input_Delay', 'Cumulative_Layout_Shift', 'First_Contentful_Paint', 'Time_to_Interactive', 'Total_Blocking_Time', 'Speed_Index']) print(df_pagespeed_results)
出于此腳本的目的,我使用了Core Web Vital指標(biāo)以及當(dāng)前Lighthouse版本中使用的其他負(fù)載和交互性指標(biāo)。
這些指標(biāo)各自具有不同的權(quán)重,然后將它們用于總體績(jī)效得分:
LCP
FID
CLS
FCP
TTI
TBT
您可以在上方鏈接的各個(gè)目標(biāo)網(wǎng)頁(yè)上找到有關(guān)每個(gè)指標(biāo)的更多信息以及如何解釋分?jǐn)?shù)的信息。
我還選擇包括速度指數(shù)和整體類別,這些類別將提供慢速,平均或快速得分。
保存響應(yīng)對(duì)象后,我們現(xiàn)在可以對(duì)其進(jìn)行過濾并僅提取所需的指標(biāo)。
在這里,我們將再次使用for循環(huán)遍歷響應(yīng)對(duì)象文件,并設(shè)置一系列列表索引以僅返回特定指標(biāo)。
為此,我們將從DataFrame中定義列名稱,以及為每個(gè)URL從中提取每個(gè)指標(biāo)的響應(yīng)對(duì)象的特定類別。
for (url, x) in zip( response_object.keys(), range(0, len(response_object)) ): # URLs df_pagespeed_results.loc[x, 'url'] =\ response_object[url]['lighthouseResult']['finalUrl'] # Overall Category df_pagespeed_results.loc[x, 'Overall_Category'] =\ response_object[url]['loadingExperience']['overall_category'] # Core Web Vitals # Largest Contentful Paint df_pagespeed_results.loc[x, 'Largest_Contentful_Paint'] =\ response_object[url]['lighthouseResult']['audits']['largest-contentful-paint']['displayValue'] # First Input Delay fid = response_object[url]['loadingExperience']['metrics']['FIRST_INPUT_DELAY_MS'] df_pagespeed_results.loc[x, 'First_Input_Delay'] = fid['percentile'] # Cumulative Layout Shift df_pagespeed_results.loc[x, 'Cumulative_Layout_Shift'] =\ response_object[url]['lighthouseResult']['audits']['cumulative-layout-shift']['displayValue'] # Additional Loading Metrics # First Contentful Paint df_pagespeed_results.loc[x, 'First_Contentful_Paint'] =\ response_object[url]['lighthouseResult']['audits']['first-contentful-paint']['displayValue'] # Additional Interactivity Metrics # Time to Interactive df_pagespeed_results.loc[x, 'Time_to_Interactive'] =\ response_object[url]['lighthouseResult']['audits']['interactive']['displayValue'] # Total Blocking Time df_pagespeed_results.loc[x, 'Total_Blocking_Time'] =\ response_object[url]['lighthouseResult']['audits']['total-blocking-time']['displayValue'] # Speed Index df_pagespeed_results.loc[x, 'Speed_Index'] =\ response_object[url]['lighthouseResult']['audits']['speed-index']['displayValue']
我已將此腳本設(shè)置為提取上面提到的關(guān)鍵指標(biāo),因此您可以立即使用它來收集此數(shù)據(jù)。
但是,可以提取在PSI測(cè)試以及Lighthouse分析中都可以找到的許多其他有用指標(biāo)。
在此JSON文件可用于查看每個(gè)指標(biāo)在列表中的位置。
例如,在從Lighthouse審核中提取指標(biāo)(例如“互動(dòng)時(shí)間”的顯示值)時(shí),將使用以下內(nèi)容:
df_pagespeed_results.loc[x, 'Time_to_Interactive'] =\ response_object[url]['lighthouseResult']['audits']['interactive']['displayValue']
再一次,重要的是要確保每一個(gè)都位于循環(huán)中,否則它們將不會(huì)包含在迭代中,并且只會(huì)為一個(gè)URL生成一個(gè)結(jié)果。
最后一步是創(chuàng)建一個(gè)摘要文件以收集所有結(jié)果,因此我們可以將其轉(zhuǎn)換為易于分析的格式,例如CSV文件。
summary = df_pagespeed_results df_pagespeed_results.head() #Download csv file summary.to_csv('pagespeed_results.csv') files.download('pagespeed_results.csv')
(請(qǐng)注意,此方法用于在Google Colab中轉(zhuǎn)換和下載CSV文件。)
目前,我們導(dǎo)出的所有指標(biāo)都存儲(chǔ)為字符串,這是用于文本和字符的Python數(shù)據(jù)類型。
由于我們提取的某些指標(biāo)實(shí)際上是數(shù)字值,因此您可能希望將字符串轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)類型,例如整數(shù)和浮點(diǎn)數(shù)。
整數(shù),也稱為int,是整數(shù)的數(shù)據(jù)類型,例如1和10。
浮點(diǎn)數(shù),也稱為浮點(diǎn)數(shù),是十進(jìn)制點(diǎn)數(shù),例如1.0和10.1。
為了將字符串轉(zhuǎn)換為數(shù)字,我們需要執(zhí)行兩個(gè)步驟,第一步是將's'字符(用于表示秒)替換為空格。
我們通過在每列上使用.str.replace方法來執(zhí)行此操作。
#Replace the 's' with a blank space so we can turn into numbers df_pagespeed_results['Largest_Contentful_Paint'] = df_pagespeed_results.Largest_Contentful_Paint.str.replace('s', '') df_pagespeed_results['First_Contentful_Paint'] = df_pagespeed_results.First_Contentful_Paint.str.replace('s', '') df_pagespeed_results['Time_to_Interactive'] = df_pagespeed_results.Time_to_Interactive.str.replace('s', '') df_pagespeed_results['Total_Blocking_Time'] = df_pagespeed_results.Total_Blocking_Time.str.replace('ms', '') df_pagespeed_results['Speed_Index'] = df_pagespeed_results.Speed_Index.str.replace('s', '')
然后,我們將使用.astype()方法將字符串轉(zhuǎn)換為整數(shù)或浮點(diǎn)數(shù):
#Turn strings into intergers or floats df_pagespeed_results['Largest_Contentful_Paint'] = df_pagespeed_results.Largest_Contentful_Paint.astype(float) df_pagespeed_results['Cumulative_Layout_Shift'] = df_pagespeed_results.Cumulative_Layout_Shift.astype(int) df_pagespeed_results['First_Contentful_Paint'] = df_pagespeed_results.First_Contentful_Paint.astype(float) df_pagespeed_results['Time_to_Interactive'] = df_pagespeed_results.Time_to_Interactive.astype(float) df_pagespeed_results['Speed_Index'] = df_pagespeed_results.Speed_Index.astype(float)
完成此操作后,您可以使用多種不同的方法進(jìn)一步評(píng)估數(shù)據(jù)。
例如,您可以使用數(shù)據(jù)可視化庫(kù)(例如matplotlib或seaborn)來可視化指標(biāo),以及測(cè)量指標(biāo)如何隨時(shí)間變化并將結(jié)果分組為慢速,中速和快速存儲(chǔ)桶。
感謝各位的閱讀,以上就是“Python怎么監(jiān)視和衡量網(wǎng)站”的內(nèi)容了,經(jīng)過本文的學(xué)習(xí)后,相信大家對(duì)Python怎么監(jiān)視和衡量網(wǎng)站這一問題有了更深刻的體會(huì),具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云,小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章,歡迎關(guān)注!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。