項(xiàng)目實(shí)踐：搜索對比測試工具

搜索對比測試工具

目錄

1.      工具簡介... 1

2.      設(shè)計(jì)思路... 1

3.      工具實(shí)用性... 3

4.      工具集成擴(kuò)展... 6

1.                                工具簡介

因公司的搜索服務(wù)及底層索引創(chuàng)建維護(hù)由基礎(chǔ)架構(gòu)部同事維護(hù)，業(yè)務(wù)接入方同學(xué)對于業(yè)務(wù)相關(guān)的搜索測試基本都是功能性的基礎(chǔ)驗(yàn)證，為了更直觀的從多維度評估搜索策略優(yōu)化產(chǎn)生的效果及影響，我們開發(fā)了這個搜索對比測試工具。該工具通過解析線上真實(shí)用戶的搜索日志，分別調(diào)用預(yù)上線和線上搜索服務(wù)，給出搜索結(jié)果數(shù)量、排序、服務(wù)耗時等維度的可視化對比結(jié)果。目前已實(shí)現(xiàn)的功能及統(tǒng)計(jì)信息包括：

• 同一搜索query預(yù)上線、線上搜索結(jié)果數(shù)量對比，輸出各自數(shù)量

• 同一搜索結(jié)果預(yù)上線、線上排序?qū)Ρ?，分別輸出相同排序和不同排序結(jié)果

• 搜索結(jié)果重復(fù)性判斷及重復(fù)數(shù)量輸出

• 對于梯度數(shù)據(jù),即針對搜索結(jié)果數(shù)量落在個，百，十，千，萬范圍內(nèi)的搜索詞進(jìn)行的對比分析

• 少無搜索結(jié)果搜索詞統(tǒng)計(jì)

• 搜索詞對應(yīng)搜索耗時統(tǒng)計(jì)

• 根據(jù)配置的飄紅閾值，在測試報告中對異常數(shù)據(jù)飄紅顯示，方便查看分析

• 配置化控制：可配置項(xiàng)包括待測業(yè)務(wù)、全局抽樣數(shù)量、梯度搜索詞抽樣數(shù)量、報告中差異化比例飄紅閾值，方便供其他業(yè)務(wù)線接入及工具的靈活使用

• 靈活擴(kuò)展，可通過簡單的增加其它業(yè)務(wù)線的搜索結(jié)果實(shí)現(xiàn)類，支持更多業(yè)務(wù)線。

（詳細(xì)統(tǒng)計(jì)數(shù)據(jù)及報告展示格式請參見后文截圖）

2.                                設(shè)計(jì)思路

搜索對比測試主要目的是對比更改搜索策略前后，搜索結(jié)果數(shù)量是否有明顯起伏，搜索結(jié)果是否滿足預(yù)期效果，服務(wù)性能是否有明顯差異。我們的對比測試工具主要從搜索結(jié)果數(shù)量、搜索結(jié)果排序和服務(wù)調(diào)用時間三個維度進(jìn)行設(shè)計(jì)實(shí)現(xiàn)。下面對主要功能點(diǎn)設(shè)計(jì)思路進(jìn)行說明。

• 為了模擬真實(shí)用戶，我們提取線上搜索日志中真實(shí)用戶的搜索query進(jìn)行對比測試

• 搜索結(jié)果數(shù)量對比：我們?nèi)【€上query分別調(diào)用預(yù)上線和線上服務(wù)，并對比當(dāng)前預(yù)上線、線上搜索結(jié)果數(shù)量以及上一次真實(shí)用戶搜索到的結(jié)果數(shù)量。

• 搜索服務(wù)調(diào)用時間對比：我們用stopwatch分別統(tǒng)計(jì)調(diào)用預(yù)上線/線上服務(wù)的時間

• 搜索結(jié)果排序?qū)Ρ龋河捎陬A(yù)上線和線上服務(wù)連接的都是線上數(shù)據(jù)庫，而線上數(shù)據(jù)是實(shí)時動態(tài)變化的，再加上策略的調(diào)整，同一query對應(yīng)的預(yù)上線/線上結(jié)果排序沒有可比性，我們對調(diào)用預(yù)上線服務(wù)的query進(jìn)行了重新拼接。考慮到搜索服務(wù)可以根據(jù)索引id進(jìn)行搜索，并且索引id不參與搜索排序的打分，我們?nèi)∫欢〝?shù)量的線上搜索結(jié)果的索引id，拼接到query上，重新調(diào)用預(yù)上線服務(wù)進(jìn)行搜索，這樣我們就可以比較兩個環(huán)境中相同職位/簡歷對應(yīng)的排序情況。

• 梯度數(shù)據(jù)對比：搜索結(jié)果的量級在一定程度上也會影響服務(wù)性能、結(jié)果數(shù)量及排序的相對變化，因此我們對不同數(shù)量級結(jié)果的query進(jìn)行了抽樣對比測試，增加對比結(jié)果評估的合理性。

• 少無結(jié)果的統(tǒng)計(jì)：少無結(jié)果的場景是搜索優(yōu)化的重要參考項(xiàng)，我們分別對預(yù)

上線和線上環(huán)境少無結(jié)果的情況進(jìn)行了統(tǒng)計(jì)，以支持后續(xù)優(yōu)化。

• 重復(fù)結(jié)果統(tǒng)計(jì)：重復(fù)結(jié)果對于用戶毫無意義，因此我們對是否有重復(fù)結(jié)果進(jìn)行了判斷

對比工具基本流程圖如上圖所示

3.                                工具實(shí)用性

目前，我們的搜索對比測試工具已經(jīng)應(yīng)用到英才職位和簡歷搜索的對比測試中。

• 多維度的搜索結(jié)果對比，可以為研發(fā)、產(chǎn)品、測試人員提供比較有價值的參考

• 方便擴(kuò)展，對于各調(diào)用平臺部垂搜服務(wù)的業(yè)務(wù)線，只需增加具體的搜索結(jié)果實(shí)現(xiàn)類及對應(yīng)服務(wù)地址即可接入

• 可視化對比測試報告，對比結(jié)果可以郵件的形式周知相關(guān)人員，并且報告中對異常數(shù)據(jù)進(jìn)行了飄紅處理，方便相關(guān)人員進(jìn)行排查，詳細(xì)的差異對比內(nèi)容以附件的形式輸出。測試報告樣例如下圖所示：

(附件內(nèi)容展示只存在于預(yù)上線環(huán)境的索引數(shù)據(jù))

（附件內(nèi)容展示只存在于線上的索引數(shù)據(jù)）

（附件內(nèi)容展示搜索結(jié)果中排序不同的索引數(shù)據(jù)）

4.                                工具集成擴(kuò)展

未來計(jì)劃將具與jenkins集成，通過界面配置，實(shí)現(xiàn)全流程的自動化。