實(shí)現(xiàn)并行運(yùn)算的方法匯總

1、實(shí)現(xiàn)的手段
1.1 MPI

MPI實(shí)現(xiàn)并行是進(jìn)程級(jí)；采用的是分布式內(nèi)存系統(tǒng)，顯式（數(shù)據(jù)分配方式）實(shí)現(xiàn)并行執(zhí)行，通過(guò)通信在進(jìn)程之間進(jìn)行消息傳遞，可擴(kuò)展性好。MPI雖適合于各種機(jī)器，但它的編程模型復(fù)雜：

    需要分析及劃分應(yīng)用程序問(wèn)題，并將問(wèn)題映射到分布式進(jìn)程集合；
    需要解決通信延遲大和負(fù)載不平衡兩個(gè)主要問(wèn)題；
    調(diào)試MPI程序麻煩；
    MPI程序可靠性差，一個(gè)進(jìn)程出問(wèn)題，整個(gè)程序?qū)㈠e(cuò)誤；

1.2 Pthreads

Pthreads實(shí)現(xiàn)并行是線程級(jí)；采用的是共享內(nèi)存系統(tǒng)，只有在POSIX的系統(tǒng)（linux、mac OS X、Solaris、HPUX等）上才有效。它是一個(gè)可以連接到C程序中的庫(kù)，目前標(biāo)準(zhǔn)的C++共享內(nèi)存線程庫(kù)還在開(kāi)發(fā)中，也許在將來(lái)在C++程序中，使用這個(gè)庫(kù)更加方便。
1.3 OpenMP

OpenMP是線程級(jí)（并行粒度）；采用的是共享內(nèi)存系統(tǒng)，隱式（數(shù)據(jù)分配方式）實(shí)現(xiàn)并行執(zhí)行；可擴(kuò)展性差；正因?yàn)椴捎霉蚕韮?nèi)存分布系統(tǒng)，意味著它只適應(yīng)于SMP（Symmetric Multi-Processing 對(duì)稱多處理結(jié)構(gòu)）,DSM（Distributed Shared Memory 共享內(nèi)存分布系統(tǒng)）機(jī)器，不適合于集群。
1.1 OpenCL
    全稱Open Computing Language，開(kāi)放運(yùn)算語(yǔ)言。是一個(gè)為異構(gòu)平臺(tái)編寫(xiě)程序的框架，此異構(gòu)平臺(tái)可由CPU，GPU或其他類型的處理器組成。OpenCL由一門(mén)用于編寫(xiě)kernels （在OpenCL設(shè)備上運(yùn)行的函數(shù)）的語(yǔ)言（基于C99）和一組用于定義并控制平臺(tái)的API組成。OpenCL提供了基于任務(wù)分割和數(shù)據(jù)分割的并行計(jì)算機(jī)制。OpenCL類似于另外兩個(gè)開(kāi)放的工業(yè)標(biāo)準(zhǔn)OpenGL和OpenAL，這兩個(gè)標(biāo)準(zhǔn)分別用于三維圖形和計(jì)算機(jī)音頻方面。
    1.5 GPU

GPU是專門(mén)為執(zhí)行復(fù)雜的數(shù)學(xué)和集合計(jì)算而設(shè)計(jì)的，一個(gè)GPU內(nèi)有許多流處理簇（stream Multiprocessor）SM，他們就類似于CPU的核。這些SM與共享（一級(jí)緩存）連接在一起，然后又與相當(dāng)于SM間互聯(lián)開(kāi)關(guān)的二級(jí)緩存相連。類似于這種設(shè)計(jì)，都是為計(jì)算圖形渲染所必須的。
1.6 Hadoop

是谷歌公司MapReduce框架的一個(gè)開(kāi)源版本。它針對(duì)的是linux平臺(tái)。其概念是你取來(lái)一個(gè)大數(shù)據(jù)集，然后將其切割或映射（map）成很多小的數(shù)據(jù)塊。然而，并不是將數(shù)據(jù)發(fā)送到各個(gè)節(jié)點(diǎn)，取而代之的是數(shù)據(jù)集通過(guò)并行文件系統(tǒng)已經(jīng)被劃分給上百或者上千個(gè)節(jié)點(diǎn)。因此，歸約（Reduce）步驟就是把程序發(fā)送到已經(jīng)包含數(shù)據(jù)的節(jié)點(diǎn)上，然后輸出結(jié)果寫(xiě)入本地節(jié)點(diǎn)并保存在那里。