資料統計分析方法
大資料，即用於資料分析幫助商業等方面決策的大資料集，已經發展成熟，然而它的發展速度卻絲毫沒有減慢的跡象，下面我們一起看看資料統計分析方法吧！
資料統計分析方法
一、以往的資料分析
在今天的各型別企業中，資料分析崗位已經基本得到普及和認可，這個崗位的核心任務往往是支撐運營和營銷，將企業內部的資料，客戶的資料進行分析和總結，形成以往工作情況的量化表現，以及客戶的行為趨勢或特徵等。
如果從更宏觀的角度來認識資料分析崗位的話，每一個數據分析人員都明白，其實資料分析崗位要達到的目標就是希望透過資料來發現潛在的規律，進而幫助預測未來，這一點同資料探勘的目標一致。那麼為什麼在大多數公司都已經具備的資料分析崗位基礎上，今天卻還是在反覆提到資料探勘這個概念，我們就需要來看看資料分析都有哪些是沒有做到的內容。
1、資料分散
多數資料分析崗位在公司中的崗位設定是隸屬在單一業務部門中作為一個支撐崗，只有少數的公司是將資料分析作為一個獨立的部門。其差異性在於，前者的資料分析所能分析的內容僅限於自身部門所輸出的指標，比如投訴部門只看投訴處理過程中的資料，銷售部門只看銷售過程中的資料，一旦涉及到需要將各類指標彙總分析的情況，這種組織架構就會帶來極大的負面影響，由於不同部門具備自己部門指標匯出的許可權，且與其他部門的配合並不影響績效任務，所以這種跨部門採集資料的過程往往效率奇低。而資料分析最關鍵的就在於彙集更多的資料和更多的維度來發現規律，所以以往的資料分析多是做最基礎的對比分析以及帕累託分析，少有使用演算法來對資料進行挖掘的動作，因為越少的指標以及越少的維度將會使得演算法發揮的效果越差。
2、指標維度少
在以往的企業中，數字化管理更多的體現在日常運維工作中，對於客戶端的資料採集雖然從很早以前就已經開展，CRM系統的誕生已經有很久的時間了，但是一直以來客戶端的資料維度卻十分缺失，其原因在於上述這些途徑所獲得的資料多為客戶與企業產生互動之後到互動結束之間的資料，但是這段時間只是這個客戶日常生活中很少的一部分內容，客戶在微博，微信上的行為特點，關注的領域或是品牌，自身的性格特點等，可以說一個客戶真正的特點，習慣，僅透過與企業的互動是無從知曉的，因此難以挖掘出有效的結論。
3、少使用演算法
在上述制約條件下，可想而知資料分析人員對於演算法的使用必然是較少的，因為資料分析依賴於大量的指標、維度以及資料量，沒有這三個條件是難以發揮演算法的價值的，而在排除掉演算法後，資料分析人員更多的只能是針對有限的資料做最為簡單的分析方法，得出淺顯易懂的分析結論，為企業帶來的價值則可以想象。
4、資料分析系統較弱
目前的資料分析多采用excel，部分資料分析人員能夠使用到R或SPSS等軟體，但當資料量達到TB或PB單位級別時，這些軟體在運算時將會消耗大量時間，同時原始的資料庫系統在匯出資料時所花費的時間也是相當長的，因此對大資料量的分析工作，常規的系統支撐難以到達要求。
二、技術革命與資料探勘
得益於網際網路對於人們生活的影響逐漸增大，我們發現數據正在瘋狂的增長。今天一個人一天的時間中有將近一半是在網際網路中度過的，一方面這些使用網際網路的互動都是能夠被捕捉記錄的，一方面由於碎片化時間的使用，客戶與企業互動的機會也變的越來越頻繁，進一步保障了客戶資料的豐富。同時在大資料技術的支撐下，今天的系統能夠允許對這些大規模的資料量進行高效的分析。
因此資料分析人員也能夠開始使用一些較為抽象的演算法來對資料做更為豐富的分析。所以資料分析正式進入到了資料分析2.0的時代，也就是資料探勘的時代了。
三、資料處理流程
資料分析也即是資料處理的過程，這個過程是由三個關鍵環節所組成：資料採集，資料分析方法選取，資料分析主題選擇。這三個關鍵環節呈現金字塔形，其中資料採集是最底層，而資料分析主題選擇是最上層。
四、資料採集
資料採集即是如何將資料記錄下來的環節。在這個環節中需要著重說明的是兩個原則，即全量而非抽樣，以及多維而非單維。今天的技術革命和資料分析2.0主要就是體現在這個兩個層面上。
1、全量而非抽樣
由於系統分析速度以及資料匯出速度的制約，在非大資料系統支撐的公司中，做資料分析的人員也是很少能夠做到完全全量的對資料進行收集和分析。在未來這將不再成為問題。
2、多維而非單維
另一方面則在於資料的維度上，這在前邊同樣提及。總之針對客戶行為實現5W1H的全面細化，將互動過程的什麼時間、什麼地點、什麼人、因為什麼原因、做了什麼事情全面記錄下來，並將每一個板塊進行細化，時間可以從起始時間、結束時間、中斷時間、週期間隔時間等細分；地點可以從地市、小區、氣候等地理特徵、渠道等細分；人可以從多渠道註冊賬號、家庭成員、薪資、個人成長階段等細分；原因可以從愛好、人生大事、需求層級等細分；事情可以從主題、步驟、質量、效率等細分。透過這些細分維度，增加分析的多樣性，從而挖掘規律。
五、資料分析方法選取
資料分析方法是透過什麼方法去組合資料從而展現規律的環節。從根本目的上來說，資料分析的任務在於抽象資料形成有業務意義的結論。因為單純的資料是毫無意義的，直接看資料是沒有辦法發現其中的規律的，只有透過使用分析方法將資料抽象處理後，人們才能看出隱藏在資料背後的規律。
資料分析方法選取是整個資料處理過程的核心，一般從分析的方法複雜度上來講，我將其分為三個層級，即常規分析方法，統計學分析方法跟自建模型。我之所以這樣區分有兩個層面上的考慮，分別是抽象程度以及定製程度。
其中抽象程度是說，有些資料不需要加工，直接轉成圖形的方式呈現出來，就能夠表現出業務人員所需要的業務意義，但有些業務需求，直接把資料轉化成圖形是難以看出來的，需要建立資料模型，將多個指標或一個指標的多個維度進行重組，最終產生出新的資料來，那麼形成的這個抽象的結果就是業務人員所需要的業務結論了。基於這個原則，可以劃分出常規分析方法和非常規分析方法。
那麼另一個層面是定製程度，到今天數學的發展已經有很長的時間了，其中一些經典的分析方法已經沉澱，他們可以通用在多用分析目的中，適用於多種業務結論中，這些分析方法就屬於通用分析方法，但有些業務需求確實少見，它所需要的分析方法就不可能完全基於通用方法，因此就會形成獨立的分析方法，也就是專門的數學建模，這種情況下所形成的數學模型都是專門為這個業務主題定製的，因此無法適用於多個主題，這類分析方法就屬於高度定製的，因此基於這一原則，將非常規分析方法細分為統計學分析方法和自建模型類。
1、常規分析方法
常規分析方法不對資料做抽象的處理，主要是直接呈現原始資料，多用於針對固定的指標、且週期性的分析主題。直接透過原始資料來呈現業務意義，主要是透過趨勢分析和佔比分析來呈現，其分析方法對應同環比及帕累託分析這兩類。同環比分析，其核心目的在於呈現本期與往期之間的差異，如銷售量增長趨勢；而帕累託分析則是呈現單一維度中的各個要素佔比的排名，比如各個地市中本期的銷售量增長趨勢的排名，以及前百分之八十的增長量都由哪幾個地市貢獻這樣的結論。常規分析方法已經成為最為基礎的分析方法，在此也不詳細介紹了。
2、統計學分析方法
統計學分析方法能夠基於以往資料的規律來推導未來的趨勢，其中可以分為多種規律總結的方式。根據原理多分為以下幾大類，包括有目標結論的有指導學習演算法，和沒有目標結論的無指導學習演算法，以及迴歸分析。
其中有指導的學習演算法簡單說就是有歷史資料裡邊已經給出一個目標結論，然後分析當各個變數達到什麼情況時，就會產生目標結論。比如我們想判斷各項指標需要達到什麼水平時我們才認定這個人患有心臟病的話，就可以把大量的心臟病人的各項指標資料和沒有心臟病的正常人的各項指標資料都輸入到系統中，目標結論就是是否有心臟病，變數就是各項指標資料，系統根據這些資料算出一個函式，這個函式能夠恰當的描述各個指標的資料與最終這個是否是心臟病人之間的關係，也就是當各個指標達到什麼臨界值時，這個人就有心臟病的判斷，這樣以後再來病人，我們就可以根據各項指標的臨界值。這個案例中的函式就是演算法本身了，這其中的演算法邏輯有很多種，包括常見的貝葉斯分類、決策樹、隨機森林樹以及支援向量機等，有興趣的朋友可以在網上看看各種演算法的邏輯是怎麼樣的。
另外無指導的學習演算法因為沒有一個給定的目標結論，因此是將指標之中所有有類似屬性的資料分別合併在一起，形成聚類的結果。比如最經典的.啤酒與尿布分析，業務人員希望瞭解啤酒跟什麼搭配在一起賣會更容易讓大家接受，因此需要把所有的購買資料都放進來，然後計算後，得出其他各個商品與啤酒的關聯程度或者是距離遠近，也就是同時購買了啤酒的人群中，都有購買哪些其他的商品，然後會輸出多種結果，比如尿布或者牛肉或者酸奶或者花生米等等，這每個商品都可以成為一個聚類結果，由於沒有目標結論，因此這些聚類結果都可以參考，之後就是貨品擺放人員嘗試各種聚類結果來看效果提升程度。在這個案例中各個商品與啤酒的關聯程度或者是距離遠近就是演算法本身了，這其中的邏輯也有很多中，包括Apriori等關聯規則、聚類演算法等。
另外還有一大類是迴歸分析，簡單說就是幾個自變數加減乘除後就能得出因變數來，這樣就可以推算未來因變數會是多少了。比如我們想知道活動覆蓋率、產品價格、客戶薪資水平、客戶活躍度等指標與購買量是否有關係，以及如果有關係，那麼能不能給出一個等式來，把這幾個指標的資料輸入進去後，就能夠得到購買量，這個時候就需要回歸分析了，透過把這些指標以及購買量輸入系統，運算後即可分別得出，這些指標對購買量有沒有作用，以及如果有作用，那麼各個指標應該如何計算才能得出購買量來。迴歸分析包括線性及非線性迴歸分析等演算法。
統計學分析方法還有很多，不過在今天多用上述幾大類分析方法，另外在各個分析方法中，又有很多的不同演算法，這部分也是需要分析人員去多多掌握的。
3、自建模型
自建模型是在分析方法中最為高階也是最具有挖掘價值的，在今天多用於金融領域，甚至業界專門為這個人群起了一個名字叫做寬客，這群人就是靠數學模型來分析金融市場。由於統計學分析方法所使用的演算法也是具有侷限性的，雖然統計學分析方法能夠通用在各種場景中，但是它存在不精準的問題，在有指導和沒有指導的學習演算法中，得出的結論多為含有多體現在結論不精準上，而在金融這種錙銖必較的領域中，這種演算法顯然不能達到需求的精準度，因此數學家在這個領域中專門自建模型，來輸入可以獲得資料，得出投資建議來。在統計學分析方法中，迴歸分析最接近於數學模型的，但公式的複雜程度有限，而數學模型是完全自由的，能夠將指標進行任意的組合，確保最終結論的有效性。
六、資料分析主題選取
在資料分析方法的基礎上，進一步是將分析方法應用在業務需求中，基於業務主題的分析可以涉及太多的領域，從客戶的參與活動的轉化率，到客戶的留存時長分析，再到內部的各環節銜接的及時率和準確度等等，每一種都有獨特的指標和維度的要求，以及分析方法的要求，以我個人的經驗來看，主要分析主題都是圍繞著營銷、運營、客戶這三大角度來開展的。
1、營銷/運營分析
營銷運營分析多從過程及最終的成效上來進行分析，包括營銷活動從釋出到客戶產生購買的過程的分析，運營從客戶開始使用到停止使用為止的過程中的分析，前者更傾向於分析客戶行為的變動趨勢，以及不同型別的客戶之間的行為差異，後者更傾向於分析在過程中服務的及時率和有效率，以及不同型別的客戶之間對於服務需求的差異。
在針對這部分分析主題時，多采用常規分析方法，透過同環比以及帕累託來呈現簡單的變動規律以及主要型別的客戶，但透過統計學分析方法，營銷分析可以根據有指導的學習演算法，得出營銷成功與營銷失敗之間的客戶特徵的差異，而運營分析則可以根據無指導的學習演算法，得出哪些特徵的客戶對哪些服務是有突出的需求的，另外營銷和運營分析都可以透過迴歸分析來判斷，各項績效指標中，哪些指標是對購買以及滿意度有直接影響的。透過這些深入的挖掘，可以幫助指導營銷及運營人員更好的完成任務。
2、客戶分析
客戶分析除了與營銷和運營資料關聯分析時候使用，另外單獨對於客戶特徵的分析也是有很大價值的。這一部分分析更多需要透過統計學分析方法中的有指導和無指導的學習演算法，一方面針對高價值客戶，透過有指導的學習演算法，能夠看到哪些特徵能夠影響到客戶的價值高低，從而為企業鎖定目標客戶提供指導；另一方面針對全體客戶，透過無指導的學習演算法，能夠看到客戶可以大概分為哪幾種群落，針對每個群落的客戶展開焦點討論和情景觀察，從而挖掘不同群落客戶之間的需求差異，進而為各個群落的客戶提供精準營銷服務。
透過以上這些的操作，一個企業的資料分析或者說資料探勘工作的完整流程就呈現了出來。可以看到，無論是資料採集，還是分析方法，亦或是分析主題，在大資料和網際網路的支撐基礎上，在未來都將有大幅度的增加，資料分析人員將成為下一個階段的關鍵企業支撐人員，也即是在未來，在各個領域中，都將產生大量的寬客，或者增長駭客這樣的資料分析人員，來帶動企業的發展。