Python如何實(shí)現(xiàn)列表去重復(fù)項(xiàng)

本篇內(nèi)容主要講解“Python如何實(shí)現(xiàn)列表去重復(fù)項(xiàng)”，感興趣的朋友不妨來看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Python如何實(shí)現(xiàn)列表去重復(fù)項(xiàng)”吧!

方式

## 1. 新建列表，如果新列表中不存在，則添加到新列表。 def unique(data):     new_list = []     for item in data:         if item not in new_list:             new_list.append(item)     return new_list   # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() print("new_list + not in data:", unique(data)) print("time:" + str((time.time() - start_time) * 1000) + " ms")  # result $ python -V Python 2.7.16 $ python unique.py  ('for list + not in. data:', ['a', 1, 2, 'b']) time:0.0441074371338 ms  ## 2. 新建列表。根據(jù)下標(biāo)判斷是否存在新列表中，如果新列表中不存在則添加到新列表。 def unique(data):     new_list = []     for i in range(len(data)):         if data[i] not in new_list:             new_list.append(data[i])     return new_list   ## 2.1 新建列表，使用列表推導(dǎo)來去重。是前一種的簡(jiǎn)寫。 def unique(data):     new_list = []     [new_list.append(i) for i in data if not i in new_list]     return new_list  # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() print("for range + not in. data:", unique(data)) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 3. 通過index找不到該項(xiàng)，則追加到新列表中。index找不到會(huì)報(bào)錯(cuò)，因此放在異常處理里。 def unique(data):     new_list = []     for i in range(len(data)):         item = data[i]         try:             if (new_list.index(item) < 0):                 print('new_list:', new_list)         except ValueError:             new_list.append(item)     return new_list   # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() print("list index + except:", unique(data)) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 4. 新建列表，兩個(gè)循環(huán)。如果內(nèi)循環(huán)與外循環(huán)項(xiàng)相同，且下標(biāo)相同就添加到新列表，其余忽略 def unique(data):     new_list = []     for i in range(len(data)):         j = 0         while j <= i:             if data[i] == data[j]:                 if i == j:                     new_list.append(data[i])                 break             j += 1     return new_list  # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() print("new list + for. new_list:", unique(data)) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 5. 在原有列表上移除重復(fù)項(xiàng)目。自后往前遍歷，逐個(gè)與前面項(xiàng)比較，如果值相同且下標(biāo)相同，則移除當(dāng)前項(xiàng)。 def unique(data):     l = len(data)     while (l > 0):         l -= 1         i = l         while i > 0:             i -= 1             if data[i] == data[l]:                 del data[l]                 break     return data  # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() print("one list while. last -> first result. data:", unique(data)) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 6. 在原有列表上移除重復(fù)項(xiàng)目。自前往后遍歷，逐個(gè)與后面項(xiàng)比較，如果值相同且下標(biāo)相同，則移除當(dāng)前項(xiàng)。 def unique(data):     l = len(data)     i = 0     while i < l:         j = i + 1         while j < l:             if data[i] == data[j]:                 del data[j]                 l -= 1                 i -= 1                 break             j += 1         i += 1     return data   # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() print("one list while. first -> last result. data:", unique(data)) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 7. 新建列表。遍歷列表，利用index比較出現(xiàn)的位置，如果出現(xiàn)在第一次的位置則追加到新數(shù)組。 def unique(data):     new_list = []     for i in range(len(data)):         if i == data.index(data[i]):             new_list.append(data[i])     return new_list   # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() print("for range + index. data:", unique(data)) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 8. 利用字典屬性唯一性來實(shí)現(xiàn)去重復(fù)。 def unique(data):     obj = {}     for item in data:         obj[item] = item     return obj.values()   # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() print("list + dict:", unique(data)) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 或者直接通過dict.fromkeys來實(shí)現(xiàn) print("dict fromkeys:", dict.fromkeys(data).keys())  ## 9. 利用filter函數(shù)，即把不符合條件的過濾掉。這里filter不支持下標(biāo)，因此需要借助外部列表存儲(chǔ)不重復(fù)項(xiàng) def uniq(item):     i = data.index(item)     if (item not in new_list):         new_list.append(item)         return True     return False def unique(item):     if obj.get(item) == None:         obj[item] = item         return True     return False   # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() new_list = [] print('filter + list + not in: ', filter(uniq, data)) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 10. 利用字典結(jié)合過濾來實(shí)現(xiàn)去重復(fù)。 def unique(item):     if obj.get(item) == None:         obj[item] = item         return True     return False   # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() obj = {} print("filter + dict + get:", filter(unique, data)) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 11. 利用map來實(shí)現(xiàn)去重復(fù)。與map與filter類似，是一個(gè)高階函數(shù)?？梢葬槍?duì)其中項(xiàng)逐個(gè)修改操作。 ## 與filter不同map會(huì)保留原有項(xiàng)目，并不會(huì)刪除，因此值可以改為None，然后再過濾掉。 def unique(item):     if item not in new_list:         new_list.append(item)         return item     return None   # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] new_list = [] start_time = time.time()  print("list from Map:", filter(lambda item: item != None, map(unique, data))) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 12. 利用set數(shù)據(jù)結(jié)構(gòu)里key的唯一性來去重復(fù) data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] print("from Set:", list(set(data))) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 13. 提前排序，從后向前遍歷，將當(dāng)前項(xiàng)與前一項(xiàng)對(duì)比，如果重復(fù)則移除當(dāng)前項(xiàng) def unique(data):     data.sort()     l = len(data)     while (l > 0):         l -= 1         if (data[l] == data[l - 1]):             data.remove(data[l])     return data   # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() print("sort + remove:", unique(data)) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 14. 提前排序，自前往后遍歷，將當(dāng)前項(xiàng)與后一項(xiàng)對(duì)比，如果重復(fù)則移除當(dāng)前項(xiàng) def unique(data):     """      in python 3: TypeError: '<' not supported between instances of 'int' and 'str'      need to keep the same Type of member in List     """     data.sort()     l = len(data) - 1     i = 0     while i < l:         if (data[i] == data[i + 1]):             del data[i]             i -= 1             l -= 1         i += 1     return data   # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() print("sort+del ASE:", unique(data)) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 15. 利用reduce函數(shù)來去重復(fù)。reduce具有累計(jì)的作用，判斷如果不在累計(jì)結(jié)果中出現(xiàn)，則追加到結(jié)果中。 import functools   def unique(data):     new_list = []      def foo(result, item):         if isinstance(result, list) == False:             result = [result]         return result if item in result else result + [item]      return functools.reduce(foo, data)   # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() print("functools.reduce:", unique(data)) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 16. 利用遞歸調(diào)用來去重復(fù)。遞歸自后往前逐個(gè)調(diào)用，當(dāng)長(zhǎng)度為1時(shí)終止。 ## 當(dāng)后一項(xiàng)與前任一項(xiàng)相同說明有重復(fù)，則刪除當(dāng)前項(xiàng)。相當(dāng)于利用自我調(diào)用來替換循環(huán) def recursion_unique(data, len):     if (len <= 1):         return data      l = len     last = l - 1     is_repeat = False      while (l > 1):         l -= 1         if (data[last] == data[l - 1]):             is_repeat = True             break      if (is_repeat):         del data[last]      return recursion_unique(data, len - 1)   # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() print("recursion_unique:", recursion_unique(data, len(data))) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 17. 利用遞歸調(diào)用來去重復(fù)的另外一種方式。遞歸自后往前逐個(gè)調(diào)用，當(dāng)長(zhǎng)度為1時(shí)終止。 ## 與上一個(gè)遞歸不同，這里將不重復(fù)的項(xiàng)目作為結(jié)果拼接起來 def recursion_unique_new(data, len):     if (len <= 1):         return data      l = len     last = l - 1     is_repeat = False     while (l > 1):         l -= 1         if (data[last] == data[l - 1]):             is_repeat = True             break      if (is_repeat):         del data[last:]         result = []     else:         result = [data[last]]      return recursion_unique_new(data, len - 1) + result   # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() print("recursion_unique_new:", recursion_unique_new(data, len(data))) print("time:" + str((time.time() - start_time) * 1000) + " ms")  ## 18. 利用numpy lib庫. 需提前安裝 `pip install numpy` import numpy as np   def unique(data):     res = np.array(data)     return list(np.unique(res))   # test data = ['a', 'a', 1, 1, 2, 2, 'b', 'b', 2, 1] start_time = time.time() print("import numpy as np.unique:", unique(data)) print("time:" + str((time.time() - start_time) * 1000) + " ms")

到此，相信大家對(duì)“Python如何實(shí)現(xiàn)列表去重復(fù)項(xiàng)”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！