您好,登錄后才能下訂單哦!
本文實(shí)例分析了Python多進(jìn)程與服務(wù)器并發(fā)原理及用法。分享給大家供大家參考,具體如下:
進(jìn)程
什么是進(jìn)程
進(jìn)程:正在進(jìn)行的一個(gè)過程或者說一個(gè)任務(wù)。而負(fù)責(zé)執(zhí)行任務(wù)則是cpu。
進(jìn)程與程序的區(qū)別
程序僅僅只是一堆代碼而已,而進(jìn)程指的是程序的運(yùn)行過程。
并發(fā)與并行
無論是并行還是并發(fā),在用戶看來都是'同時(shí)'運(yùn)行的,不管是進(jìn)程還是線程,都只是一個(gè)任務(wù)而已,真是干活的是cpu,cpu來做這些任務(wù),而一個(gè)cpu同一時(shí)刻只能執(zhí)行一個(gè)任務(wù)
一 并發(fā):是偽并行,即看起來是同時(shí)運(yùn)行。單個(gè)cpu+多道技術(shù)就可以實(shí)現(xiàn)并發(fā),(并行也屬于并發(fā))
二 并行:同時(shí)運(yùn)行,只有具備多個(gè)cpu才能實(shí)現(xiàn)并行
單核下,可以利用多道技術(shù),多個(gè)核,每個(gè)核也都可以利用多道技術(shù)(多道技術(shù)是針對(duì)單核而言的)
有四個(gè)核,六個(gè)任務(wù),這樣同一時(shí)間有四個(gè)任務(wù)被執(zhí)行,假設(shè)分別被分配給了cpu1,cpu2,cpu3,cpu4,
一旦任務(wù)1遇到I/O就被迫中斷執(zhí)行,此時(shí)任務(wù)5就拿到cpu1的時(shí)間片去執(zhí)行,這就是單核下的多道技術(shù)
而一旦任務(wù)1的I/O結(jié)束了,操作系統(tǒng)會(huì)重新調(diào)用它(需知進(jìn)程的調(diào)度、分配給哪個(gè)cpu運(yùn)行,由操作系統(tǒng)說了算),可能被分配給四個(gè)cpu中的任意一個(gè)去執(zhí)行
同步與異步
同步執(zhí)行:一個(gè)進(jìn)程在執(zhí)行某個(gè)任務(wù)時(shí),另外一個(gè)進(jìn)程必須等待其執(zhí)行完畢,才能繼續(xù)執(zhí)行
異步執(zhí)行:一個(gè)進(jìn)程在執(zhí)行某個(gè)任務(wù)時(shí),另外一個(gè)進(jìn)程無需等待其執(zhí)行完畢,就可以繼續(xù)執(zhí)行,當(dāng)有消息返回時(shí),系統(tǒng)會(huì)通知后者進(jìn)行處理,這樣可以提高執(zhí)行效率
舉個(gè)例子,打電話時(shí)就是同步通信,發(fā)短息時(shí)就是異步通信。
進(jìn)程的創(chuàng)建
但凡是硬件,都需要有操作系統(tǒng)去管理,只要有操作系統(tǒng),就有進(jìn)程的概念,就需要有創(chuàng)建進(jìn)程的方式,一些操作系統(tǒng)只為一個(gè)應(yīng)用程序設(shè)計(jì),比如微波爐中的控制器,一旦啟動(dòng)微波爐,所有的進(jìn)程都已經(jīng)存在。
而對(duì)于通用系統(tǒng)(跑很多應(yīng)用程序),需要有系統(tǒng)運(yùn)行過程中創(chuàng)建或撤銷進(jìn)程的能力,主要分為4中形式創(chuàng)建新的進(jìn)程
1. 系統(tǒng)初始化(查看進(jìn)程linux中用ps命令,windows中用任務(wù)管理器,前臺(tái)進(jìn)程負(fù)責(zé)與用戶交互,后臺(tái)運(yùn)行的進(jìn)程與用戶無關(guān),運(yùn)行在后臺(tái)并且只在需要時(shí)才喚醒的進(jìn)程,稱為守護(hù)進(jìn)程,如電子郵件、web頁面、新聞、打?。?/p>
2. 一個(gè)進(jìn)程在運(yùn)行過程中開啟了子進(jìn)程(如nginx開啟多進(jìn)程,os.fork,subprocess.Popen等)
3. 用戶的交互式請(qǐng)求,而創(chuàng)建一個(gè)新進(jìn)程(如用戶雙擊暴風(fēng)影音)
4. 一個(gè)批處理作業(yè)的初始化(只在大型機(jī)的批處理系統(tǒng)中應(yīng)用)
無論哪一種,新進(jìn)程的創(chuàng)建都是由一個(gè)已經(jīng)存在的進(jìn)程執(zhí)行了一個(gè)用于創(chuàng)建進(jìn)程的系統(tǒng)調(diào)用而創(chuàng)建的:
1. 在UNIX中該系統(tǒng)調(diào)用是:fork,fork會(huì)創(chuàng)建一個(gè)與父進(jìn)程一模一樣的副本,二者有相同的存儲(chǔ)映像、同樣的環(huán)境字符串和同樣的打開文件(在shell解釋器進(jìn)程中,執(zhí)行一個(gè)命令就會(huì)創(chuàng)建一個(gè)子進(jìn)程)
2. 在windows中該系統(tǒng)調(diào)用是:CreateProcess,CreateProcess既處理進(jìn)程的創(chuàng)建,也負(fù)責(zé)把正確的程序裝入新進(jìn)程。
關(guān)于創(chuàng)建的子進(jìn)程,UNIX和windows
1.相同的是:進(jìn)程創(chuàng)建后,父進(jìn)程和子進(jìn)程有各自不同的地址空間(多道技術(shù)要求物理層面實(shí)現(xiàn)進(jìn)程之間內(nèi)存的隔離),任何一個(gè)進(jìn)程的在其地址空間中的修改都不會(huì)影響到另外一個(gè)進(jìn)程。
2.不同的是:在UNIX中,子進(jìn)程的初始地址空間是父進(jìn)程的一個(gè)副本,提示:子進(jìn)程和父進(jìn)程是可以有只讀的共享內(nèi)存區(qū)的。但是對(duì)于windows系統(tǒng)來說,從一開始父進(jìn)程與子進(jìn)程的地址空間就是不同的。
進(jìn)程的終止
1. 正常退出(自愿,如用戶點(diǎn)擊交互式頁面的叉號(hào),或程序執(zhí)行完畢調(diào)用發(fā)起系統(tǒng)調(diào)用正常退出,在linux中用exit,在windows中用ExitProcess)
2. 出錯(cuò)退出(自愿,python a.py中a.py不存在)
3. 嚴(yán)重錯(cuò)誤(非自愿,執(zhí)行非法指令,如引用不存在的內(nèi)存,1/0等,可以捕捉異常,try...except...)
4. 被其他進(jìn)程殺死(非自愿,如kill -9)
一個(gè)進(jìn)程由三種狀態(tài)
重點(diǎn)來了
python并發(fā)編程之多進(jìn)程
multiprocessing模塊介紹
python中的多線程無法利用多核優(yōu)勢(shì),如果想要充分地使用多核CPU的資源(os.cpu_count()查看),在python中大部分情況需要使用多進(jìn)程。Python提供了非常好用的多進(jìn)程包multiprocessing。
multiprocessing模塊用來開啟子進(jìn)程,并在子進(jìn)程中執(zhí)行我們定制的任務(wù)(比如函數(shù)),該模塊與多線程模塊threading的編程接口類似。
multiprocessing模塊的功能眾多:支持子進(jìn)程、通信和共享數(shù)據(jù)、執(zhí)行不同形式的同步,提供了Process、Queue、Pipe、Lock等組件。
需要再次強(qiáng)調(diào)的一點(diǎn)是:與線程不同,進(jìn)程沒有任何共享狀態(tài),進(jìn)程修改的數(shù)據(jù),改動(dòng)僅限于該進(jìn)程內(nèi)
Process類的介紹
創(chuàng)建進(jìn)程的類:
Process([group [, target [, name [, args [, kwargs]]]]])
,由該類實(shí)例化得到的對(duì)象,表示一個(gè)子進(jìn)程中的任務(wù)(尚未啟動(dòng))
強(qiáng)調(diào):
1. 需要使用關(guān)鍵字的方式來指定參數(shù)
2. args指定的為傳給target函數(shù)的位置參數(shù),是一個(gè)元組形式,必須有逗號(hào)
p.daemon
:默認(rèn)值為False,如果設(shè)為True,代表p為后臺(tái)運(yùn)行的守護(hù)進(jìn)程,當(dāng)p的父進(jìn)程終止時(shí),p也隨之終止,并且設(shè)定為True后,p不能創(chuàng)建自己的新進(jìn)程,必須在p.start()
之前設(shè)置
p.name
:進(jìn)程的名稱
p.pid
:進(jìn)程的pid
p.exitcode
:進(jìn)程在運(yùn)行時(shí)為None、如果為–N,表示被信號(hào)N結(jié)束(了解即可)
p.authkey
:進(jìn)程的身份驗(yàn)證鍵,默認(rèn)是由os.urandom()
隨機(jī)生成的32字符的字符串。這個(gè)鍵的用途是為涉及網(wǎng)絡(luò)連接的底層進(jìn)程間通信提供安全性,這類連接只有在具有相同的身份驗(yàn)證鍵時(shí)才能成功(了解即可)
開啟子進(jìn)程
import time import random from multiprocessing import Process def piao(name): print('%s piaoing' %name) time.sleep(random.randrange(1,5)) print('%s piao end' %name) p1=Process(target=piao,args=('egon',)) #必須加,號(hào) p2=Process(target=piao,args=('alex',)) p3=Process(target=piao,args=('wupeqi',)) p4=Process(target=piao,args=('yuanhao',)) p1.start() p2.start() p3.start() p4.start() print('主線程')
開啟子進(jìn)程2
import time import random from multiprocessing import Process class Piao(Process): def __init__(self,name): super().__init__() self.name=name def run(self): print('%s piaoing' %self.name) time.sleep(random.randrange(1,5)) print('%s piao end' %self.name) p1=Piao('egon') p2=Piao('alex') p3=Piao('wupeiqi') p4=Piao('yuanhao') p1.start() #start會(huì)自動(dòng)調(diào)用run p2.start() p3.start() p4.start() print('主進(jìn)程')
socket服務(wù)器并發(fā)
from socket import * from multiprocessing import Process server=socket(AF_INET,SOCK_STREAM) server.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) server.bind(('127.0.0.1',8080)) server.listen(5) def talk(conn,client_addr): while True: try: msg=conn.recv(1024) if not msg:break conn.send(msg.upper()) except Exception: break if __name__ == '__main__': #windows下start進(jìn)程一定要寫到這下面 while True: conn,client_addr=server.accept() p=Process(target=talk,args=(conn,client_addr)) p.start()
更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專題:《Python進(jìn)程與線程操作技巧總結(jié)》、《Python Socket編程技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。