任務(wù)二 掌握數(shù)據(jù)化運營所需的工具和技能

任務(wù)描述

小趙完成了銷售數(shù)據(jù)的分析工作后，接下來將對市場數(shù)據(jù)進行分析。由于咖啡市場是千變?nèi)f化的，咖啡的需求量也在不斷地變化，因此小趙需要先采集市場數(shù)據(jù)，然后再對數(shù)據(jù)進行處理和分析。小趙明確了本次的任務(wù)（見表1-3）后，便著手進行數(shù)據(jù)的采集和處理工作。

知識準(zhǔn)備

一、數(shù)據(jù)采集工具

數(shù)據(jù)采集又稱數(shù)據(jù)獲取，是指通過數(shù)據(jù)采集工具將龐大、復(fù)雜的單個數(shù)據(jù)，整理成符合需求的數(shù)據(jù)集，如圖1-10所示。為了高效采集數(shù)據(jù)，依據(jù)采集環(huán)境和數(shù)據(jù)類型選擇合適的數(shù)據(jù)采集工具至關(guān)重要，常見的數(shù)據(jù)采集工具有集搜客和八爪魚采集器兩種。

（一）通過集搜客采集數(shù)據(jù)

集搜客是一款專業(yè)的網(wǎng)頁數(shù)據(jù)采集/信息挖掘處理軟件，它可以輕松抓取網(wǎng)頁文字、圖片、表格、超鏈接等多種網(wǎng)頁元素，并最終得到規(guī)范化的數(shù)據(jù)。使用集搜客之前，需要在集搜客官方網(wǎng)站中下載并安裝“數(shù)據(jù)管家”爬蟲軟件，如圖1-11所示。待爬蟲軟件安裝完成后，雙擊計算機桌面上的數(shù)據(jù)管家圖標(biāo)，進入集搜客官網(wǎng)。注冊成為集搜客會員后，單擊按鈕，在打開的頁面中選擇要采集的網(wǎng)站和頁面，并輸入具體的采集網(wǎng)址，如圖1-12所示，單擊按鈕，便可開始采集數(shù)據(jù)。

（二）通過八爪魚采集器采集數(shù)據(jù)

八爪魚采集器是一款網(wǎng)頁數(shù)據(jù)采集軟件，具有使用簡單、功能強大等特點。該軟件提供了模板采集、自動識別采集、手動采集等不同的采集模式，是廣受青睞的數(shù)據(jù)采集器之一。使用八爪魚采集器之前，首先需要在八爪魚官方網(wǎng)站中下載軟件，然后將其安裝到計算機中，安裝完成后，打開八爪魚軟件并注冊成為會員，便可使用該軟件采集網(wǎng)頁數(shù)據(jù)了。

1. 模板采集

此模式可直接利用八爪魚采集器內(nèi)置的各種采集模板，實現(xiàn)快速采集數(shù)據(jù)的目的。在八爪魚采集器中單擊左側(cè)列表中的“模板”按鈕，打開“采集模板”頁面（見圖1-13），在其中單擊所需要的采集模板后，進入“模板詳情”頁面，單擊按鈕，如圖1-14所示。在打開的頁面中設(shè)置此次采集的任務(wù)名、任務(wù)組，并配置模板參數(shù)，完成后即可采集并保存數(shù)據(jù)。需要注意的是，八爪魚采集器提供的部分模板需要升級為套餐用戶才能正常使用。

2. 自動識別采集

當(dāng)八爪魚采集器內(nèi)置的模板無法滿足采集需求時，可以通過自定義采集的模式采集數(shù)據(jù)。在八爪魚采集器首頁中單擊按鈕（見圖1-15），打開“任務(wù)：新建任務(wù)”頁面，在“網(wǎng)址”文本框中輸入要采集數(shù)據(jù)的網(wǎng)址后，單擊按鈕（見圖1-16），便可進行采集操作。使用這種采集模式時，八爪魚采集器會自動識別網(wǎng)頁內(nèi)容，識別完成后根據(jù)需要修改采集的頁數(shù)、字段等信息，然后開始采集和保存數(shù)據(jù)。

3. 手動采集

當(dāng)自動識別無法采集正確的數(shù)據(jù)時，可取消自動識別，并手動添加采集字段進行手動采集。手動采集的關(guān)鍵在于正確采集需要的數(shù)據(jù)對象，這將涉及循環(huán)、翻頁等參數(shù)的設(shè)置，如圖1-17所示。

二、數(shù)據(jù)處理工具

采集到的數(shù)據(jù)往往需要經(jīng)過整理和加工等處理操作才能成為后期分析工作的數(shù)據(jù)源。常用的數(shù)據(jù)處理工具有Excel和Python兩種，如表1-4所示。一般來說，如果處理的數(shù)據(jù)量不大，可以使用Excel；如果數(shù)據(jù)量較大，則應(yīng)選擇Python。下面重點介紹使用Excel處理數(shù)據(jù)的方法。

使用Excel處理數(shù)據(jù)的操作主要包括數(shù)據(jù)整理和數(shù)據(jù)加工兩個方面。

（一）數(shù)據(jù)整理

采集數(shù)據(jù)后，往往需要將數(shù)據(jù)內(nèi)容整理為所需要的信息，才能使采集的數(shù)據(jù)具備分析價值?？傮w來看，數(shù)據(jù)整理工作主要包括內(nèi)容整理與格式整理兩大方面。

1. 內(nèi)容整理

采集到的數(shù)據(jù)可能存在值缺失、錯誤或重復(fù)等情況，針對不同的情況，有不同的整理技巧。

（1）缺失值整理。如果能夠判斷缺失數(shù)據(jù)的內(nèi)容，就應(yīng)該考慮進行手動修補；反之，則可考慮用合理的值代替缺失值；另外，如果采集到的數(shù)據(jù)量足夠大，且能夠確保刪除缺失值后并不影響所采集數(shù)據(jù)的效果，就可以考慮將缺失值刪除。

（2）錯誤值整理。在Excel中每一種錯誤值都會提示出錯原因，根據(jù)出錯原因，可以快速定位錯誤位置，以修正、解決錯誤。表1-5所示為Excel中常見的錯誤提示信息及其產(chǎn)生原因和解決方法。

（3）重復(fù)值整理。如果采集的數(shù)據(jù)存在完全或部分重復(fù)的情況，可以利用Excel的條件格式、排序、函數(shù)與公式、數(shù)據(jù)透視表等功能篩選重復(fù)的數(shù)據(jù)，然后使用刪除重復(fù)項、函數(shù)等功能刪除重復(fù)數(shù)據(jù)。

2. 格式整理

采集到的數(shù)據(jù)往往格式不統(tǒng)一。例如，日期數(shù)據(jù)中有“2023年8月23日”的顯示方式，也有“2023-8-23”的顯示方式等，這時就需要將其整理成相同的顯示方式，以提高數(shù)據(jù)質(zhì)量。在Excel中，可以充分利用數(shù)據(jù)格式設(shè)置及查找和替換功能進行格式的整理。

（1）設(shè)置數(shù)據(jù)格式。選擇需要統(tǒng)一數(shù)據(jù)格式的單元格區(qū)域，在【開始】/【數(shù)字】組中單擊右下角的“展開”按鈕，打開“設(shè)置單元格格式”對話框，在“數(shù)字”選項卡的“分類”列表框中選擇數(shù)據(jù)類型，此處選擇“貨幣”選項，然后在右側(cè)的界面中進一步設(shè)置所選數(shù)據(jù)類型的格式，如圖1-18所示，完成后單擊按鈕。

（2）查找和替換數(shù)據(jù)。若需要統(tǒng)一的內(nèi)容不是某種數(shù)據(jù)格式，則可利用查找和替換功能進行統(tǒng)一修改。例如，需要將“已　付　貨　款”統(tǒng)一為“已付貨款”，則可在【開始】/【編輯】組中單擊“查找和選擇”按鈕，在彈出的下拉列表中選擇“替換”選項，或直接按【Ctrl+H】組合鍵，打開“查找和替換”對話框，在“替換”選項卡的“查找內(nèi)容”下拉列表框中輸入“已　付　貨　款”，在“替換為”下拉列表框中輸入“已付貨款”，然后單擊按鈕，如圖1-19所示。

（二）數(shù)據(jù)加工

數(shù)據(jù)加工是指整理完采集的數(shù)據(jù)后，為了便于后期分析工作的開展，在Excel中對數(shù)據(jù)進行計算、排列、篩選、匯總、轉(zhuǎn)化、分組、合并等操作。需要注意的是，數(shù)據(jù)是否需要加工，應(yīng)該按照后期數(shù)據(jù)分析的需求來決定，并不是必須執(zhí)行的。

（1）計算數(shù)據(jù)。如果數(shù)據(jù)分析時需要的數(shù)據(jù)源是通過采集的數(shù)據(jù)計算而來的，則可利用Excel的公式和函數(shù)進行計算加工。無論是公式還是函數(shù)，在Excel中都需要先輸入“=”，以區(qū)別于其他普通數(shù)據(jù)。其中，公式可以由常量、運算符、單元格引用、函數(shù)等對象組成；函數(shù)則是具有某種語法格式的特殊公式，如SUM函數(shù)就是數(shù)學(xué)和三角函數(shù)的結(jié)合，它可以將數(shù)值相加。

（2）排列數(shù)據(jù)。排列數(shù)據(jù)是指按照某個規(guī)則將采集到的數(shù)據(jù)進行排序，如采集的是產(chǎn)品的交易數(shù)據(jù)，則可以以銷售額為排列規(guī)則，按從高到低的順序進行排列。

（3）篩選數(shù)據(jù)。篩選數(shù)據(jù)是指按指定的條件，將不符合條件的數(shù)據(jù)隱藏起來，表格中暫時顯示所有符合條件的數(shù)據(jù)。在Excel中，可以執(zhí)行自動篩選、高級篩選等多種篩選操作。

（4）數(shù)據(jù)匯總。數(shù)據(jù)匯總是指將同類的數(shù)據(jù)進行匯總處理，統(tǒng)計其總和、平均數(shù)、數(shù)量、最大值、最小值等。在Excel中，可以通過分類匯總功能實現(xiàn)對數(shù)據(jù)的分類和匯總操作。

（5）數(shù)據(jù)轉(zhuǎn)化。數(shù)據(jù)轉(zhuǎn)化是指將數(shù)據(jù)從一種表現(xiàn)形式轉(zhuǎn)變?yōu)榱硪环N表現(xiàn)形式。例如，轉(zhuǎn)化表格的行列結(jié)構(gòu)，將一列數(shù)據(jù)拆分為多列等。

（6）數(shù)據(jù)分組。數(shù)據(jù)分組是指根據(jù)統(tǒng)計研究的需要，將原始數(shù)據(jù)按照某種標(biāo)準(zhǔn)分組。例如，采集的是產(chǎn)品的交易數(shù)據(jù)，可以按照產(chǎn)品的品類、產(chǎn)品的銷售月份等進行分組。

（7）數(shù)據(jù)合并。數(shù)據(jù)合并是指將某幾個數(shù)據(jù)字段合并成一個新的字段，此時可以使用CONCATENATE函數(shù)、連接符“&”、DATE函數(shù)進行字段合并操作。例如，采集到的產(chǎn)品列表信息中，若單價的數(shù)值和金額符號分別存在于不同字段，則可以使用合并功能將其顯示在同一字段中。

三、數(shù)據(jù)化運營所需的技能

數(shù)據(jù)化運營需要經(jīng)歷數(shù)據(jù)處理、數(shù)據(jù)整合、數(shù)據(jù)分析、數(shù)據(jù)展現(xiàn)等過程。因此，作為一名合格的運營人員，需要具備數(shù)據(jù)處理能力、數(shù)據(jù)分析能力、數(shù)據(jù)呈現(xiàn)能力和數(shù)據(jù)決策能力4種基礎(chǔ)能力。

（一）數(shù)據(jù)處理能力

數(shù)據(jù)處理能力是指合理收集、整理、描述、分析所獲得的數(shù)據(jù)，從中提取出有價值的信息，并最終做出合理推測的能力。具備數(shù)據(jù)處理能力即具備數(shù)據(jù)獲取、數(shù)據(jù)存儲與數(shù)據(jù)預(yù)處理的能力。

（二）數(shù)據(jù)分析能力

數(shù)據(jù)分析能力是指能夠使用合適的統(tǒng)計分析方法，對收集的大量且復(fù)雜的數(shù)據(jù)加以匯總、理解并消化，然后從中抽取出有價值的信息并推導(dǎo)出結(jié)論，最終對數(shù)據(jù)做出進一步研究和概括、總結(jié)的能力。從運營層面來說，數(shù)據(jù)分析能力主要是指通過數(shù)據(jù)思維，把業(yè)務(wù)問題轉(zhuǎn)化成不同類型的數(shù)據(jù)指標(biāo)，并運用一定的數(shù)據(jù)分析方法分析業(yè)務(wù)，從而有效、系統(tǒng)地解決問題。

（三）數(shù)據(jù)呈現(xiàn)能力

數(shù)據(jù)呈現(xiàn)能力是指借助數(shù)據(jù)呈現(xiàn)工具（如Power BI等），運用表格、圖表、圖形等方式，將業(yè)務(wù)信息與決策方案清晰、明確地展現(xiàn)出來的能力。其中，用圖表方式呈現(xiàn)數(shù)據(jù)是較直接且常用的方法，常見的圖表類型包括條形圖、柱形圖、面積圖、餅圖、折線圖、金字塔圖等，如圖1-20所示。此時運營人員需要根據(jù)不同的圖表關(guān)系選擇合適的圖表來明確表達(dá)數(shù)據(jù)信息，表1-6所示為Excel中部分圖表關(guān)系及選擇策略。

（四）數(shù)據(jù)決策能力

數(shù)據(jù)決策能力是指能基于數(shù)據(jù)進行科學(xué)決策，進而讓數(shù)據(jù)產(chǎn)生價值的能力。具備數(shù)據(jù)決策能力不僅能快速響應(yīng)外界的變化，而且能夠?qū)ν饨缱兓瘮?shù)據(jù)與大量歷史數(shù)據(jù)一起進行深度分析，并能及時從相關(guān)的數(shù)據(jù)中搜索、挖掘出數(shù)據(jù)的潛在價值，以滿足特定時間、地點、場景的需求，最終為業(yè)務(wù)需求提供解決方案。

任務(wù)實施

任務(wù)演練1：使用集搜客采集咖啡數(shù)據(jù)

【任務(wù)目標(biāo)】

在KK旗艦店的主要銷售渠道——京東商城中搜索速溶咖啡，使用集搜客采集搜索結(jié)果頁面的信息，從中獲得速溶咖啡在京東商城中的搜索數(shù)據(jù)，然后將數(shù)據(jù)下載到計算機中，以備后續(xù)分析之用。

【任務(wù)要求】

本次任務(wù)的具體要求如表1-7所示。

【操作過程】

（1）獲取并復(fù)制需采集數(shù)據(jù)的網(wǎng)址。通過瀏覽器訪問需要采集數(shù)據(jù)的網(wǎng)頁，這里在京東商城中搜索“速溶咖啡”，打開搜索結(jié)果頁面，然后選擇網(wǎng)頁地址欄中的網(wǎng)址，按【Ctrl+C】組合鍵復(fù)制網(wǎng)址。

（2）登錄會員中心。雙擊計算機桌面上的數(shù)據(jù)管家圖標(biāo)，進入集搜客后，單擊左下角的按鈕，在打開的對話框中輸入賬號和密碼，單擊按鈕，如圖1-22所示。

（3）新建采集任務(wù)。進入集搜客首頁，單擊右下角的按鈕，打開“快捷采集”頁面。在“網(wǎng)站”欄中單擊按鈕，在展開的列表中選擇“京東”選項，然后在“頁面”欄中選擇“京東商品搜索列表”選項，如圖1-23所示。

（4）輸入采集網(wǎng)址。在頁面下方的“網(wǎng)址”文本框中按【Ctrl+V】組合鍵粘貼第（1）步中復(fù)制的網(wǎng)址，然后單擊按鈕，如圖1-24所示。集搜客默認(rèn)只獲取1頁的數(shù)據(jù)信息，如果想獲取更多的數(shù)據(jù)信息，可以在“網(wǎng)址”文本框右側(cè)的“頁數(shù)”下拉列表中進行選擇。

（5）打包數(shù)據(jù)。此時集搜客將訪問該網(wǎng)頁，并自動識別網(wǎng)頁中的數(shù)據(jù)，待顯示“結(jié)束狀態(tài)”選項卡后，單擊“快捷采集”選項卡，打開的頁面中顯示了快捷采集的相關(guān)信息，這里單擊第一項采集任務(wù)對應(yīng)的按鈕，如圖1-25所示，會打開提示對話框。

（6）設(shè)置打包數(shù)據(jù)的條數(shù)。打開的提示對話框提示本次采集的數(shù)據(jù)可以打包的條數(shù)，根據(jù)實際需求輸入具體的數(shù)字，這里輸入“40”，然后單擊按鈕，如圖1-26所示。

（7）下載采集數(shù)據(jù)。打開“快捷采集”頁面中的“數(shù)據(jù)下載”選項卡，單擊按鈕，如圖1-27所示。在打開的對話框中保持文件名和保存位置不變，單擊按鈕，即可將采集的數(shù)據(jù)以Excel文件的形式保存到計算機中（配套資源：\效果文件\項目一\任務(wù)二\京東商城速溶咖啡數(shù)據(jù).xlsx）。

技能練習(xí)

嘗試使用八爪魚采集器采集在京東商城中搜索到的咖啡產(chǎn)品列表信息，然后比較兩種不同采集工具所采集到的數(shù)據(jù)是否存在差異，以及哪一種工具采集的數(shù)據(jù)更加準(zhǔn)確。

任務(wù)演練2：利用Excel處理采集的數(shù)據(jù)

【任務(wù)目標(biāo)】

在Excel中觀察咖啡產(chǎn)品數(shù)據(jù)，找到無用字段后將其刪除；然后對字段進行重命名，并查找和替換文本；最后將數(shù)據(jù)按“商品價格”排序，便于后續(xù)處理數(shù)據(jù)。

【任務(wù)要求】

本次任務(wù)的具體要求如表1-8所示。

【操作過程】

（1）解壓采集的數(shù)據(jù)。在計算機中打開保存采集數(shù)據(jù)的文件夾，然后雙擊壓縮文件，在打開的窗口中單擊“解壓到”按鈕，打開“解壓路徑和選項”對話框，單擊按鈕，將文件解壓到指定位置。

（2）刪除無用字段。雙擊解壓后的文件，打開采集的產(chǎn)品數(shù)據(jù)表格，發(fā)現(xiàn)表格中前4列數(shù)據(jù)無用，可以刪除。選擇A列至D列單元格，在【開始】/【單元格】組中單擊“刪除”按鈕，如圖1-28所示。

（3）重命名字段。繼續(xù)觀察剩余數(shù)據(jù)，發(fā)現(xiàn)A列字段名稱為英文，其余字段的名稱均為中文，為了統(tǒng)一，需要將英文名稱更改為中文名稱。選擇A1單元格，輸入文本“采集日期”，然后按【Enter】鍵，如圖1-29所示。

（4）查找和替換數(shù)據(jù)。繼續(xù)觀察表格中的數(shù)據(jù)，發(fā)現(xiàn)部分品牌名中英文混雜、名稱重復(fù)。在【開始】/【編輯】組中單擊“查找和選擇”按鈕，在打開的下拉列表中選擇“替換”選項，打開“查找和替換”對話框，將“舊街場（OLDTOWN）”替換為“舊街場”，“雀巢（Nestle）”替換為“雀巢”，“catfour”替換為“藍(lán)山”，“catfour藍(lán)山”替換為“藍(lán)山”，“西貢（SAGOCOFFEE）”替換為“西貢”，“星巴克（Starbucks）”替換為“星巴克”，“"速溶咖啡"”替換為“速溶咖啡”等，如圖1-30所示。

（5）排序表格數(shù)據(jù)。按【Ctrl+H】組合鍵，打開“查找和替換”對話框，在“替換”選項卡的“查找內(nèi)容”文本框中輸入“￥”符號，然后單擊按鈕，將“商品價格”字段中的“￥”符號刪除。選擇E列中的任意單元格，在【數(shù)據(jù)】/【排序和篩選】組中單擊“升序”按鈕，如圖1-31所示，將數(shù)據(jù)按“商品價格”從低到高進行排列。

（6）自動調(diào)整單元格列寬。按【Ctrl+A】組合鍵全選表格內(nèi)容，然后在【開始】/【單元格】組中單擊“格式”按鈕，在打開的下拉列表中選擇“單元格大小”/“自動調(diào)整列寬”選項，如圖1-32所示，此時單元格中隱藏的數(shù)據(jù)內(nèi)容將全部顯示出來（配套資源：\效果文件\項目一\任務(wù)二\處理后京東商城速溶咖啡數(shù)據(jù).xlsx）。