大數(shù)據(jù)時(shí)代 | 數(shù)據(jù)分析方法及理論詳解
1數(shù)據(jù)分析前，我們需要思考
像一場(chǎng)戰(zhàn)役的總指揮影響著整個(gè)戰(zhàn)役的勝敗一樣，數(shù)據(jù)分析師的思想對(duì)于整體分析思路，甚至分析結(jié)果都有著關(guān)鍵性的作用。
2 分析問(wèn)題和解決問(wèn)題的思路
定義問(wèn)題(重要步驟之一)：
1)首先，要搞清楚問(wèn)題的實(shí)質(zhì)，準(zhǔn)確、完整、真實(shí)地表達(dá)問(wèn)題。
2)其次，弄清楚為什么要解決這個(gè)問(wèn)題?
3)最后，解決這個(gè)問(wèn)題的意義何在?是必須解決還是無(wú)關(guān)緊要，或是需要馬上解決這個(gè)問(wèn)題還是不太著急。
收集整理信息：
搜集、整理關(guān)于要解決問(wèn)題的歷史資料、類似情況和現(xiàn)狀。例如，從現(xiàn)有的報(bào)表數(shù)據(jù)中就能看到當(dāng)前問(wèn)題點(diǎn)的數(shù)據(jù)情況或者一段時(shí)間的趨勢(shì);
選取分析方法：
1)分析涉及到的主要維度，為后面提取數(shù)據(jù)需求做準(zhǔn)備;
2)選取的分析軟件以及分析方法(統(tǒng)計(jì)學(xué)相關(guān)方法);
數(shù)據(jù)提取整理(重要步驟之二)：
1)根據(jù)分析內(nèi)容以及分析方法，提出分析所需的數(shù)據(jù)需求;
2)對(duì)于反饋回來(lái)的數(shù)據(jù)，需要進(jìn)行部分加工，以便更能反映所要分析的問(wèn)題;
分析結(jié)果及結(jié)論：
1)根據(jù)分析的結(jié)果，得出一些當(dāng)前問(wèn)題產(chǎn)生的一些結(jié)論。這里注意分析的方法以及維度，結(jié)果的展示方式等。
2)結(jié)論需要足夠的數(shù)據(jù)作支撐;
實(shí)施及建議措施：
1)針對(duì)數(shù)據(jù)分析結(jié)論，給出當(dāng)前問(wèn)題的解決建議措施;
2)一方面從業(yè)務(wù)層面進(jìn)行建議措施。另一方面，可以就問(wèn)題點(diǎn)進(jìn)行更深層次分析，給出數(shù)據(jù)挖掘?qū)用娴慕鉀Q措施;
實(shí)施效果評(píng)估及報(bào)告整理：
1)根據(jù)措施實(shí)施效果進(jìn)行評(píng)估，將完成的分析過(guò)程、結(jié)果以及評(píng)估整理報(bào)告，為以后出現(xiàn)問(wèn)題提供經(jīng)驗(yàn)教訓(xùn);
2)對(duì)于本次沒(méi)有完全解決的問(wèn)題，進(jìn)行說(shuō)明。
3 精確地陳述問(wèn)題
5W2H法：
5W：What、When、Where、Who、Why;
2H:How many、How much;
Where——哪里存在問(wèn)題?
What——存在的問(wèn)題是什么?
Why——原因在哪里?
When——什么時(shí)候開(kāi)始出現(xiàn)這樣的問(wèn)題?
Who——與什么對(duì)象有關(guān)?
How many——發(fā)生的次數(shù)和數(shù)量?
How much——損失有多大?
4 問(wèn)題展示方式
問(wèn)題結(jié)構(gòu)是由現(xiàn)狀、直接原因以及最終原因構(gòu)成的。針對(duì)直接原因進(jìn)行的叫初步問(wèn)題分析、針對(duì)最終原因進(jìn)行分析的叫深層及問(wèn)題分析。
5 分析方法
統(tǒng)計(jì)方法的三大特性，用三句話來(lái)簡(jiǎn)單概括：
1)實(shí)用性：除了實(shí)情，數(shù)據(jù)能證明一切;
2)豐富性：統(tǒng)計(jì)揭露出的部分固然明晰，沒(méi)揭露出來(lái)的或許更重要;
3)公平性：每個(gè)人都應(yīng)當(dāng)用數(shù)據(jù)說(shuō)話。
6 描述性統(tǒng)計(jì)分析
“五點(diǎn)法”：最小值、1/4分位數(shù)、均值、3/4分位數(shù)、最大值;
“兩度”：峰度、偏度
六西格瑪：
7 變量分析方法選取
8 數(shù)據(jù)挖掘分析
按挖掘方法分類：包括統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫(kù)方法。
其中：
1)統(tǒng)計(jì)方法可分為：判別分析(貝葉斯判別、費(fèi)謝爾判別、非參數(shù)判別等)，聚類分析(系統(tǒng)聚類、動(dòng)態(tài)聚類等)，探索性分析(主成分分析等)等。
2)機(jī)器學(xué)習(xí)方法可分為：歸納學(xué)習(xí)方法(決策樹(shù)、規(guī)則歸納等)，基于范例學(xué)習(xí)，遺傳算法等。
3)神經(jīng)網(wǎng)絡(luò)方法可分為：前向神經(jīng)網(wǎng)絡(luò)(BP算法等)，自組織神經(jīng)網(wǎng)絡(luò)(自組織特征映射、競(jìng)爭(zhēng)學(xué)習(xí)等)。
4)數(shù)據(jù)庫(kù)方法分為：多維數(shù)據(jù)分析和OLAP技術(shù)，此外還有面向?qū)傩缘臍w納方法。
關(guān)聯(lián)規(guī)則：關(guān)聯(lián)規(guī)則反映一個(gè)事物與其他事物之間的相互依存性和關(guān)聯(lián)性，如果兩個(gè)事物或者多個(gè)事物之間存在一定的關(guān)聯(lián)關(guān)系，那么其中一個(gè)事物就能夠通過(guò)其他事物預(yù)測(cè)到。
9 選取分析所需的相關(guān)數(shù)據(jù)
10 數(shù)據(jù)質(zhì)量的評(píng)估
在現(xiàn)實(shí)社會(huì)中，存在著大量的“臟數(shù)據(jù)”：
不完整性(數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)人員、數(shù)據(jù)采集設(shè)備和數(shù)據(jù)錄入人員)：
1)缺少感興趣的屬性
2)感興趣的屬性缺少部分屬性值
3)僅僅包含聚合數(shù)據(jù)，沒(méi)有詳細(xì)數(shù)據(jù)
噪音數(shù)據(jù)(采集數(shù)據(jù)的設(shè)備、數(shù)據(jù)錄入人員、數(shù)據(jù)傳輸)：
1)數(shù)據(jù)中包含錯(cuò)誤的信息
2)存在著部分偏離期望值的孤立點(diǎn)
不一致性(數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)人員、數(shù)據(jù)錄入人員)：
1)數(shù)據(jù)結(jié)構(gòu)的不一致性
2)Label的不一致性
3)數(shù)據(jù)值的不一致性
數(shù)據(jù)類型沖突：
1)性別：string(Male、Female)、Char(M、F)、Integer(0、1)
2)日期：Date、DateTime、Sting
數(shù)據(jù)標(biāo)簽沖突：解決同名異義、異名同義：
學(xué)生成績(jī)、分?jǐn)?shù)
度量單位沖突：
1)學(xué)生成績(jī)
a.百分制：100~0
b.五分制：A、B、C、D、E
c.字符表示：優(yōu)、良、及格、不及格
概念不清：
最近交易額：前一個(gè)小時(shí)、昨天、本周、本月
聚焦沖突：根源在于表結(jié)構(gòu)的設(shè)計(jì)
11 數(shù)據(jù)的清洗處理
主要任務(wù)：
補(bǔ)充缺失數(shù)據(jù)
識(shí)別孤立點(diǎn)
處理不一致的數(shù)據(jù)
處理方法：
分箱(Binning)的方法：
聚類方法：檢測(cè)并消除異常點(diǎn)
線性回歸：對(duì)不符合回歸的數(shù)據(jù)進(jìn)行平滑處理
人機(jī)結(jié)合共同檢測(cè)：由計(jì)算機(jī)檢測(cè)可疑的點(diǎn)，然后由用戶確認(rèn)
12 怎樣將分析的結(jié)果呈現(xiàn)出來(lái)
?指標(biāo)分析與政策分析并重
?反映重點(diǎn)問(wèn)題、實(shí)事求是
?材料、數(shù)據(jù)要真實(shí)，論據(jù)要有說(shuō)服力
13 分析結(jié)果呈現(xiàn)基本原則
數(shù)據(jù)分析結(jié)果呈現(xiàn)準(zhǔn)備工作：
確定表達(dá)的主題：
?使用圖形的目的：
將思想和觀點(diǎn)形象化地表達(dá)，加深讀者或聽(tīng)眾的印象
?使用圖標(biāo)時(shí)，必須明確通過(guò)圖表要表達(dá)的信息是什么
確定對(duì)比關(guān)系：
?同一類別不同項(xiàng)目間的對(duì)比
?不同類別不同項(xiàng)目間的對(duì)比
14 如何用圖來(lái)表示數(shù)據(jù)
15 常見(jiàn)的分析模式
內(nèi)容決定形式、形式服務(wù)于內(nèi)容，當(dāng)形式經(jīng)過(guò)時(shí)間考驗(yàn)被普遍接受后就固化成一種模式。
16 分析總結(jié)及建議措施
建議措施分類：業(yè)務(wù)層面;數(shù)據(jù)挖掘
17 實(shí)施效果評(píng)估及報(bào)告整理
1)營(yíng)銷活動(dòng)效果反饋數(shù)據(jù)，分析對(duì)于問(wèn)題的解決程度
2)業(yè)務(wù)模型優(yōu)化提升