MapReduce計(jì)算場景下，復(fù)雜的大數(shù)據(jù)挖掘類算法通常需要多個(gè)MapReduce作業(yè)協(xié)作完成，但多個(gè)作業(yè)之間嚴(yán)重的冗余磁盤讀寫及重復(fù)的資源申請操作，使得算法的性能嚴(yán)重降低。為提高ItemBased推薦算法的計(jì)算效率，首先對MapReduce平臺(tái)下ItemBased協(xié)同過濾算法存在的性能問題進(jìn)行了分析；在此基礎(chǔ)上利用Spark迭代計(jì)算及內(nèi)存計(jì)算上的優(yōu)勢提高算法的執(zhí)行效率，并實(shí)現(xiàn)了基于Spark平臺(tái)的ItemBased推薦算法。實(shí)驗(yàn)結(jié)果表明：當(dāng)集群節(jié)點(diǎn)規(guī)模分別為10與20時(shí)，算法在Spark中的運(yùn)行時(shí)間分別只有MapReduce中的25.6%及30. 8%，Spark平臺(tái)下的算法相比MapReduce平臺(tái)，執(zhí)行效率整體提高3倍以上。
?