并行計(jì)算可以劃分成時(shí)間并行和空間并行。時(shí)間并行即流水線技術(shù)，空間并行使用多個(gè)處理器執(zhí)行并發(fā)計(jì)算，當(dāng)前研究的主要是空間的并行問(wèn)題。

并行計(jì)算是相對(duì)于串行計(jì)算來(lái)說(shuō)的。要理解并行計(jì)算，首先需要了解串行計(jì)算。串行計(jì)算是不將任務(wù)進(jìn)行拆分，一個(gè)任務(wù)占用一塊處理資源。

圖1 串行計(jì)算

并行計(jì)算則不同。首先，并行計(jì)算可以劃分成時(shí)間并行和空間并行。時(shí)間并行就是流水線技術(shù)，空間并行使用多個(gè)處理器執(zhí)行并發(fā)計(jì)算。目前以研究空間并行為主。從空間并行的角度來(lái)說(shuō)，并行計(jì)算將一個(gè)大任務(wù)分割成多個(gè)子任務(wù)，每個(gè)子任務(wù)占用一定處理資源。并行計(jì)算中不同子任務(wù)占用的不同的處理資源來(lái)源于同一塊大的處理資源。 換一個(gè)說(shuō)法，就是將一塊大的處理資源分為幾塊小的處理資源，將一個(gè)大任務(wù)分割成多個(gè)子任務(wù)，用這些小的處理資源來(lái)單獨(dú)處理這些子任務(wù)。 并行計(jì)算中各個(gè)子任務(wù)之間是有很大的聯(lián)系的，每個(gè)子任務(wù)都是必要的，其結(jié)果相互影響。

圖2 并行計(jì)算

分布式計(jì)算

分布式計(jì)算可以看做是一種特殊的并行計(jì)算。

分布式計(jì)算也是將一個(gè)大的任務(wù)分成幾個(gè)子任務(wù)，不同子任務(wù)占用不同的處理資源。不過(guò)分布式計(jì)算的子任務(wù)之間并沒(méi)有必然聯(lián)系（互不相干），不同子任務(wù)獨(dú)享自己的一套單獨(dú)的計(jì)算系統(tǒng)。跟并行計(jì)算的不同點(diǎn)在于，分布式計(jì)算的子任務(wù)具有獨(dú)立性，一個(gè)子任務(wù)的運(yùn)行結(jié)果不會(huì)影響其他的子任務(wù)，所以分布式計(jì)算對(duì)任務(wù)的實(shí)時(shí)性要求不高，且允許存在一定的計(jì)算錯(cuò)誤（每個(gè)計(jì)算任務(wù)有多個(gè)參與者進(jìn)行計(jì)算，計(jì)算的結(jié)果需要上傳到服務(wù)器后進(jìn)行比較，對(duì)結(jié)果差異大的進(jìn)行驗(yàn)證）。

圖3 分布式計(jì)算

網(wǎng)格計(jì)算

網(wǎng)格計(jì)算可以看做是一種特殊的分布式計(jì)算。

網(wǎng)格計(jì)算與分布式計(jì)算的核心思想類(lèi)似，都是將一個(gè)大任務(wù)分成若干個(gè)子任務(wù)，這些子任務(wù)之間互不相干，占用獨(dú)立的計(jì)算資源。區(qū)別在于分布式計(jì)算中處理子任務(wù)的各個(gè)計(jì)算節(jié)點(diǎn)只是在無(wú)償?shù)刎暙I(xiàn)自己的算力，無(wú)法使用其它計(jì)算節(jié)點(diǎn)的算力為自己做點(diǎn)什么。而網(wǎng)格計(jì)算的各個(gè)計(jì)算節(jié)點(diǎn)可以在貢獻(xiàn)自己算力的同時(shí)，通過(guò)平臺(tái)來(lái)調(diào)用其它計(jì)算節(jié)點(diǎn)的算力，并且其它計(jì)算節(jié)點(diǎn)也根本不知道你在調(diào)用它。

引用用戶“孤獨(dú)求敗”([https://www.cnblogs.com/oldhorse/])的一段話：

分布式計(jì)算是將大任務(wù)化分為小任務(wù)，各臺(tái)參與計(jì)算的電腦之間是在物理地域上的分布，一般有服務(wù)器作為“中央”，參與計(jì)算的電腦不用了解工作原理，僅僅只是就自己感興趣的項(xiàng)目做貢獻(xiàn)而已，注意，是“向別人”無(wú)償?shù)淖鲐暙I(xiàn)，不是自己“直接”受益；而網(wǎng)格計(jì)算是自己“直接”受益的，她通過(guò)一個(gè)平臺(tái)允許你調(diào)用別人計(jì)算機(jī)的處理資源，而別人根本就不知道你在用他的資源！這就是說(shuō)，分布式計(jì)算是你和其他人一起組成“一臺(tái)”專(zhuān)供某些科研組織使用的超級(jí)處理機(jī)，網(wǎng)格計(jì)算是將所有網(wǎng)內(nèi)其他人的電腦組成一臺(tái)專(zhuān)供你自己使用的超級(jí)處理機(jī)。

圖4 網(wǎng)格計(jì)算

云計(jì)算

美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）對(duì)云計(jì)算的定義：

云計(jì)算是一種模型，它可以實(shí)現(xiàn)隨時(shí)隨地、便捷地、隨需應(yīng)變地從可配置計(jì)算資源共享池中獲取所需的資源（例如 ，網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用、及服務(wù)），資源能夠快速供應(yīng)并釋放，使管理資源的工作量和與服務(wù)提供商的交互減小到最低限度。

目前我們經(jīng)常討論的云計(jì)算不僅僅是一個(gè)計(jì)算模型，還包含了運(yùn)營(yíng)服務(wù)等概念。 云計(jì)算是分布式計(jì)算、并行計(jì)算和網(wǎng)格計(jì)算的發(fā)展，或者說(shuō)是這些概念的商業(yè)實(shí)現(xiàn)。

圖5 云計(jì)算