- 深入大型數(shù)據(jù)集:并行與分布化Python代碼
- (美)J.T.沃勒翰
- 333字
- 2021-03-04 19:24:17
2 加速大型數(shù)據(jù)集處理任務(wù):map函數(shù)和并行計(jì)算
本章要點(diǎn)
■ 如何使用map函數(shù)轉(zhuǎn)換大量數(shù)據(jù)
■ 如何使用并行編程轉(zhuǎn)換大量數(shù)據(jù)
■ 如何通過(guò)map函數(shù)并行地從Web上抓取數(shù)據(jù)
在本章中,我們將研究map函數(shù)以及如何將它用于并行編程,并且應(yīng)用這些概念來(lái)完成兩個(gè)Web抓取練習(xí)。通過(guò)map函數(shù),我們將重點(diǎn)關(guān)注3個(gè)主要功能:
1. 我們可以用它來(lái)代替for循環(huán)。
2. 我們可以用它來(lái)轉(zhuǎn)換數(shù)據(jù)。
3. map函數(shù)只在必要時(shí)進(jìn)行計(jì)算,而不是在調(diào)用的時(shí)候。
這些關(guān)于map函數(shù)的核心思想也是它在并行編程中如此有用的原因。在并行編程中,我們使用多個(gè)處理單元來(lái)完成一個(gè)任務(wù)的部分工作,然后將這些工作組合起來(lái)。將大量數(shù)據(jù)從一種類(lèi)型轉(zhuǎn)換成另一種類(lèi)型是一項(xiàng)容易分解的任務(wù),而且這樣的指令通常很容易傳輸。通過(guò)map函數(shù)讓代碼并行執(zhí)行,就像在程序中添加4行代碼一樣簡(jiǎn)單。
推薦閱讀
- FFmpeg入門(mén)詳解:音視頻流媒體播放器原理及應(yīng)用
- Java從入門(mén)到精通(第4版)
- INSTANT OpenNMS Starter
- Learning Apache Mahout Classification
- Building Microservices with .NET Core
- Access 2010中文版項(xiàng)目教程
- Django 3.0應(yīng)用開(kāi)發(fā)詳解
- Android系統(tǒng)下Java編程詳解
- 邊玩邊學(xué)Scratch3.0少兒趣味編程
- LabVIEW數(shù)據(jù)采集(第2版)
- FORTRAN程序設(shè)計(jì)權(quán)威指南
- Real-time Web Application Development using Vert.x 2.0
- 面向?qū)ο蟪绦蛟O(shè)計(jì)及C++實(shí)驗(yàn)指導(dǎo)(第3版)
- 大數(shù)據(jù)可視化編程和應(yīng)用
- Xamarin Mobile Application Development for iOS