官术网_书友最值得收藏!

2 加速大型數(shù)據(jù)集處理任務(wù):map函數(shù)和并行計(jì)算

本章要點(diǎn)

■ 如何使用map函數(shù)轉(zhuǎn)換大量數(shù)據(jù)

■ 如何使用并行編程轉(zhuǎn)換大量數(shù)據(jù)

■ 如何通過(guò)map函數(shù)并行地從Web上抓取數(shù)據(jù)

在本章中,我們將研究map函數(shù)以及如何將它用于并行編程,并且應(yīng)用這些概念來(lái)完成兩個(gè)Web抓取練習(xí)。通過(guò)map函數(shù),我們將重點(diǎn)關(guān)注3個(gè)主要功能:

1. 我們可以用它來(lái)代替for循環(huán)。

2. 我們可以用它來(lái)轉(zhuǎn)換數(shù)據(jù)。

3. map函數(shù)只在必要時(shí)進(jìn)行計(jì)算,而不是在調(diào)用的時(shí)候。

這些關(guān)于map函數(shù)的核心思想也是它在并行編程中如此有用的原因。在并行編程中,我們使用多個(gè)處理單元來(lái)完成一個(gè)任務(wù)的部分工作,然后將這些工作組合起來(lái)。將大量數(shù)據(jù)從一種類(lèi)型轉(zhuǎn)換成另一種類(lèi)型是一項(xiàng)容易分解的任務(wù),而且這樣的指令通常很容易傳輸。通過(guò)map函數(shù)讓代碼并行執(zhí)行,就像在程序中添加4行代碼一樣簡(jiǎn)單。

主站蜘蛛池模板: 日喀则市| 姚安县| 平泉县| 江孜县| 旬阳县| 阿合奇县| 石渠县| 潮安县| 梁山县| 东兰县| 蒙阴县| 胶州市| 抚远县| 如东县| 秦皇岛市| 淳化县| 波密县| 柳河县| 青川县| 蒙城县| 通海县| 亳州市| 拉萨市| 格尔木市| 防城港市| 泽普县| 志丹县| 收藏| 鹤山市| 略阳县| 罗平县| 林周县| 太白县| 托克逊县| 鹤峰县| 察隅县| 德令哈市| 抚州市| 荣成市| 辉南县| 陇川县|