數(shù)據(jù)提取時用xpath還是正則表達(dá)式呢

這篇文章給大家分享的是有關(guān)數(shù)據(jù)提取時用xpath還是正則表達(dá)式呢的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

xpath和正則表達(dá)式是數(shù)據(jù)提取時最常用的兩種方法，究竟用哪個好呢？

測試代碼如下所示，實驗?zāi)繕?biāo)是同一HTML文檔，分別使用webscrpaing庫中的xpath，lxml庫中的xpath以及正則表達(dá)式提取100次，統(tǒng)計各方法的用時：

view plain copy to clipboard print ?

1. # coding: utf-8  

2. # xpath_speed_test.py  

3.   

4. import re  

5. import time  

6. from lxml import etree  

7. from webscraping import common, download, xpath  

8.   

9. TEST_TIMES = 100  

10.   

11. def test():  

12.     url = 'http://hotels.ctrip.com/international/washington26363'  

13.     html = download.Download().get(url)  

14.     html = common.to_unicode(html)  

15.       

16.     # 測試webscraping庫的xpath提取速度  

17.     start_time = time.time()  

18.     for i in range(TEST_TIMES):  

19.         for hid, hprice in zip(xpath.search(html, '//div[@class="hlist_item"]/@id'), xpath.search(html, '//div[@class="hlist_item_price"]/span')):  

20.             #print hid, hprice  

21.             pass  

22.     end_time = time.time()  

23.     webscraping_xpath_time_used = end_time - start_time  

24.     print '"webscraping.xpath" time used: {} seconds.'.format(webscraping_xpath_time_used)  

25.       

26.       

27.     # 測試lxml庫xpath提取速度  

28.     start_time = time.time()  

29.     for i in range(TEST_TIMES):  

30.         root = etree.HTML(html)  

31.         for hlist_div in root.xpath('//div[@class="hlist_item"]'):  

32.             hid = hlist_div.get('id')  

33.             hprice = hlist_div.xpath('.//div[@class="hlist_item_price"]/span')[].text  

34.             #print hid, hprice  

35.             pass  

36.     end_time = time.time()  

37.     lxml_time_used = end_time - start_time  

38.     print '"lxml" time used: {} seconds.'.format(lxml_time_used)  

39.       

40.     # 測試正則表達(dá)式的速度  

41.     start_time = time.time()  

42.     for i in range(TEST_TIMES):  

43.         for hid, hprice in zip(re.compile(r'class="hlist_item" id="(\d+)"').findall(html), re.compile(r'<div class="hlist_item_price"><dfn>&yen;</dfn><span>([\d\.]+)</span>').findall(html)):  

44.             #print hid, hprice  

45.             pass  

46.     end_time = time.time()  

47.     re_time_used = end_time - start_time  

48.     print '"re" time used: {} seconds.'.format(re_time_used)  

49.       

50.       

51. if __name__ == '__main__':  

52.     test()  

運行結(jié)果如下：

view plain copy to clipboard print ?

1. "webscraping.xpath" time used: 100.677000046 seconds.  

2. "lxml" time used: 2.09100008011 seconds.  

3. "re" time used: 0.138999938965 seconds.  

結(jié)果很震撼：

• 正則表達(dá)式只用了0.14秒；

• lxml的xpath用了2.1秒；

• webscraping的xpath用了101秒！

由于xpath簡單而且靈活，我們在爬蟲開發(fā)的時候一般都會首選，但是通過這個實驗發(fā)現(xiàn)它的效率遠(yuǎn)低于正則表達(dá)式，尤其是webscrpaing庫中的xpath速度更是慢得恐怖。

因此，在我們的爬蟲開發(fā)過程中，應(yīng)該首選正則表達(dá)式，如果用正則表達(dá)式實在難于實現(xiàn)，再考慮xpath，另外，在使用xpath的時候一定要選用高效的庫，比如lxml。特別是在數(shù)據(jù)量特別大的時候，效率顯得尤為重要。

感謝各位的閱讀！關(guān)于“數(shù)據(jù)提取時用xpath還是正則表達(dá)式呢”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！