您好,登錄后才能下訂單哦!
這篇文章主要介紹了Python怎么使用MapReduce編程模型統(tǒng)計(jì)銷量的相關(guān)知識(shí),內(nèi)容詳細(xì)易懂,操作簡(jiǎn)單快捷,具有一定借鑒價(jià)值,相信大家閱讀完這篇Python怎么使用MapReduce編程模型統(tǒng)計(jì)銷量文章都會(huì)有所收獲,下面我們一起來(lái)看看吧。
MapReduce是一種編程模型,用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。概念"Map(映射)"和"Reduce(歸約)",是它們的主要思想,都是從函數(shù)式編程語(yǔ)言里借來(lái)的,還有從矢量編程語(yǔ)言里借來(lái)的特性。它極大地方便了編程人員在不會(huì)分布式并行編程的情況下,將自己的程序運(yùn)行在分布式系統(tǒng)上。 當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map(映射)函數(shù),用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì),指定并發(fā)的Reduce(歸約)函數(shù),用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。
下面就通過(guò)手動(dòng)實(shí)現(xiàn)MapReduce編碼統(tǒng)計(jì)銷售數(shù)量的例子來(lái)模擬。
#!/usr/bin/python # -*- coding: utf-8 -*- import random # 模擬商品 stocks = ["HUAWEI Mate40","Apple iphone13","Apple MacBook Pro 14","ThinkBook 14p","RedmiBook Pro14","飛鶴星飛帆幼兒奶粉","愛(ài)他美 幼兒奶粉","李寧運(yùn)動(dòng)男衛(wèi)褲","小米踏步機(jī)橢圓機(jī)","歐萊雅面膜","御泥坊面膜","歐萊雅男士套裝","金六福白酒","牛欄山42度","茅臺(tái)飛天"] # 銷售訂單 sales_list = list() # 生成100個(gè)買家訂單,每個(gè)訂單三個(gè)商品 for i in range(100): sstocks = list() for j in range(3): sstocks.append(stocks[random.randint(0,14)]) a = "買家" + str(i+1) + ":" + ",".join(sstocks) print(a)
將第一步的結(jié)果作為第二步的輸入。
#!/usr/bin/python # -*- coding: utf-8 -*- import sys #從控制臺(tái)中讀取數(shù)據(jù),循環(huán)發(fā)送每行數(shù)據(jù) for line in sys.stdin: #對(duì)訂單進(jìn)行拆分 orders = line.strip().split(":") if len(orders) == 2: #對(duì)訂單中的商品進(jìn)行拆分 stocks = orders[1].split(",") for stock in stocks: #將每一個(gè)商品作為key,value進(jìn)行輸出 print('%s,%s' % (stock,1))
將第二步的結(jié)果作為第三步的輸入。
#!/usr/bin/python # -*- coding: utf-8 -*- import sys # 創(chuàng)建一個(gè)空的字典用來(lái)每一個(gè)商品的銷售數(shù)據(jù) stock_dict = dict() for line in sys.stdin: if len(line.strip()) >= 1: # 拆分每一行的商品,銷量 stock, sales = line.split(',') # 判斷當(dāng)前商品是否在字典中有存放 if stock in stock_dict: # 如果有,把字典中的商品和銷量取出來(lái),追加當(dāng)前銷量再放入 stock_dict[stock] = stock_dict[stock] + int(sales) else: # 如果沒(méi)有,直接把商品和銷量數(shù)據(jù)放入字典中 stock_dict[stock] = int(sales) # 遍歷字典列表,獲取每一個(gè)商品的銷量 for stock, sales in stock_dict.items(): print('%s\t%s' % (stock, sales))
關(guān)于“Python怎么使用MapReduce編程模型統(tǒng)計(jì)銷量”這篇文章的內(nèi)容就介紹到這里,感謝各位的閱讀!相信大家對(duì)“Python怎么使用MapReduce編程模型統(tǒng)計(jì)銷量”知識(shí)都有一定的了解,大家如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。