寫爬蟲遇到APP的請求有加密參數(shù)時該怎么解決

這里我寫了一個演示用的APP給你玩，它會像我前面所說的一樣，發(fā)出一個請求并帶有一個加密參數(shù)——sign，且每次請求時sign都會變化。

安裝之后打開它，并準(zhǔn)備好你的抓包工具，然后點(diǎn)擊“點(diǎn)擊發(fā)送請求”按鈕。

不出意外的話會出現(xiàn)一個“sign校驗通過”的提示，然后我們看看抓到的包吧。

 

從抓包工具中我們可以很明顯地看出來，會變動的參數(shù)有兩個，一個是ts，一個是sign。（為了看到變化建議多發(fā)兩個請求對比）

先分析一下參數(shù)的含義吧，ts從名字上可以看出來，應(yīng)該是個時間戳，實(shí)際將ts的值格式化一下也可以確定這就是個請求時的時間戳；然后是sign，一眼看上去大概32位左右，而外觀長這樣的一般是hash，猜測一下最有可能性的是md5之類的，但不知道實(shí)際是如何生成的，只能逆向看看了。

該正式開始破解這個加密參數(shù)了，由于Android APP是靜態(tài)編譯的，不像JS，直接可以看到源碼，所以…我們需要對APP進(jìn)行反編譯，這里我使用的工具名為Jadx，前面的《寫APP爬蟲會需要用到哪些工具呢？》和《當(dāng)你寫爬蟲抓不到APP請求包的時候該怎么辦？【高級篇-混淆導(dǎo)致通用Hook工具失效】》文章中也有提到，這里就不再贅述了。

 

反編譯之后可以看到這么一堆亂七八糟的的東西，那么我們要怎么找到生成sign參數(shù)的地方呢？

看到那個像魔法棒一樣的按鈕了嗎？點(diǎn)一下它。

 

然后它會彈出一個“搜索文本”的窗口，接著我們有兩種方式快速定位到生成的位置：

1. 搜索URL的路徑部分

   路徑部分指的是/learning/hash_sign這一段，當(dāng)然有些APP為了復(fù)用可能會將路徑拆分成多段的，如果直接搜索完整路徑搜索不到的話可以嘗試以反斜杠為分隔符，將路徑拆分成多個來搜（記得從右往左搜，別問為什么），這里的話我們直接搜索hash_sign即可，因為這個名字很獨(dú)特，一般應(yīng)該不會出現(xiàn)有其他不相關(guān)的東西也叫這個名字的情況。

   一搜就能定位到請求的位置了~

      

2. 搜索你要找的參數(shù)

   比如這里我們需要找的是sign這個參數(shù)，可以直接搜索"sign"（注意帶上雙引號），但如果結(jié)果很多，而且還都很像生成/設(shè)置sign的地方的話，可以搜一些別的比較獨(dú)特的參數(shù)，比如這里出現(xiàn)的model、brand之類的在代碼中一般不會經(jīng)常出現(xiàn)的詞。

   由于這個DEMO APP比較簡單，所以直接搜索"sign"就能定位到設(shè)置值的位置了~

      

定位到了代碼位置之后我們就可以開始看代碼了，從搜到的結(jié)果中我們可以看到生成sign、設(shè)置sign、設(shè)置路徑的代碼都在這個l方法下，然后我們來從設(shè)置sign的位置開始從下往上分析，這樣代碼的邏輯會更容易看懂一些。

 

這里我將代碼中的關(guān)鍵點(diǎn)都做了標(biāo)記，你可以按著旁邊標(biāo)注的序號跟著我一起來看這個代碼。

首先這個aVar4.a有兩個地方出現(xiàn)了，但是傳入的第二個參數(shù)都是stringBuilder2，而下面那里是直接設(shè)置了一個空值進(jìn)去，顯然不是我們想要找的，所以我們可以忽略掉下面的那一行帶有sign關(guān)鍵詞的代碼，直接看標(biāo)注了1的那一行。

 

選中stringBuilder2這個變量，可以看到它的值是從上面那個stringBuilder3.toString()得到的，接著看看stringBuilder3的生成，for循環(huán)這里做了什么操作看不懂，但是可以看到上面有個很顯眼的字符串"MD5"。那么我們可以大膽地猜測一下，這個stringBuilder3實(shí)際上就是做了個MD5操作而已，與我們最開始抓包時的猜測相同，直接往上看看Hash前的字符串長啥樣，然后測試一下吧，不行的話再回來看。

 

從前面MD5操作的位置可以看到digest方法里用到的參數(shù)又是一個叫做stringBuilder2的變量，繼續(xù)往上看就能看到實(shí)際上是從stringBuilder.toString()那得到的，那么這個stringBuilder又是怎么來的呢？從代碼中我們可以看出似乎是for一個TreeMap然后把每一個key和value組成key=value的格式寫入stringBuilder中，如果stringBuilder里已經(jīng)有值的話還會添加&符號，那么這最終出來的東西可以聯(lián)想到的是什么？對！就是queryString那部分，只不過它的參數(shù)是被排過序的（因為TreeMap會自動進(jìn)行排序）。

 

然后我們再往上面看，驗證一下想法正不正確，可以看到最源頭的地方是個HashMap，被put進(jìn)去的都是我們抓包時看到的參數(shù)。

現(xiàn)在我們就把這個sign的生成邏輯給理清楚了，其實(shí)它就是個按照參數(shù)名排過序的queryString進(jìn)行了一次MD5操作后的產(chǎn)物，接下來我們只需要在代碼中實(shí)現(xiàn)這個生成邏輯就行了，在Python中，你可以使用它自帶的官方庫hashlib來對一個字符串做MD5操作。

那么我們寫一段代碼模擬請求一下試試，sign確實(shí)可以通過校驗，說明我們生成的sign是可以使用的，至此，加密參數(shù)破解完成。

提示：建議實(shí)際操作中不要這么測試，容易觸發(fā)反爬?？梢韵饶米グ玫降膮?shù)生成一遍對比一下，如果一樣則說明生成的sign沒有問題。