關(guān)于Python數(shù)據(jù)分析，其實(shí)網(wǎng)上能夠找到的學(xué)習(xí)資源很多，主要分為兩類(lèi)： 一類(lèi)是提供各種資源的推薦 ，比如書(shū)單、教程、以及學(xué)習(xí)的先后順序； 另一類(lèi)是提供具體的學(xué)習(xí)內(nèi)容 ，知識(shí)點(diǎn)或?qū)嶋H案例。

但很多繁瑣而又雜亂的內(nèi)容，除了給初學(xué)者增加理解和認(rèn)識(shí)的噪音外，真正能夠起到明確的方向指引導(dǎo)的，確實(shí)不多。以至于很多人一開(kāi)始沒(méi)有明確的方向就一頭扎進(jìn)去， 學(xué)了很久卻不知道自己到底在學(xué)什么 ，或者自己學(xué)了很久不知道能夠做什么。

學(xué)習(xí)一門(mén)技術(shù)之前，你應(yīng)該知道，你想要達(dá)成的目標(biāo)是什么樣的。也就是說(shuō)，你想通過(guò)這門(mén)技術(shù)來(lái)解決哪些問(wèn)題。你就可以知道要達(dá)成這樣的目標(biāo)，它的知識(shí)體系是怎么樣的。更重要一點(diǎn)的是，每個(gè)部分是用來(lái)解決哪些問(wèn)題，只有明確的目標(biāo)導(dǎo)向， 學(xué)習(xí)最有用的那部分知識(shí)，才能避免無(wú)效信息降低學(xué)習(xí)效率 。

通過(guò)這些常見(jiàn)的數(shù)據(jù)分析場(chǎng)景，你就可以獲得數(shù)據(jù)分析項(xiàng)目的基本流程。一般大致可以按 “數(shù)據(jù)獲取-數(shù)據(jù)存儲(chǔ)與提取-數(shù)據(jù)預(yù)處理-數(shù)據(jù)建模與分析-數(shù)據(jù)報(bào)告” 這樣的步驟來(lái)實(shí)施一個(gè)數(shù)據(jù)分析項(xiàng)目。

按照這個(gè)流程，每個(gè)部分需要掌握的細(xì)分知識(shí)點(diǎn)如下：

接下來(lái)我們分別從每一個(gè)部分展開(kāi)，講講具體應(yīng)該學(xué)什么、怎么學(xué)，以及各個(gè)部分主要的知識(shí)點(diǎn)進(jìn)行結(jié)構(gòu)化地展示，并有針對(duì)性地推薦學(xué)習(xí)資源。

如何獲取數(shù)據(jù) ??

我們分析的數(shù)據(jù)一般有內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)兩種。

內(nèi)部數(shù)據(jù)是在我們的業(yè)務(wù)運(yùn)轉(zhuǎn)中產(chǎn)生，比如常見(jiàn)的用戶數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、銷(xiāo)售數(shù)據(jù)、內(nèi)容數(shù)據(jù)等等。內(nèi)部的數(shù)據(jù)相對(duì)來(lái)說(shuō)更加完善、規(guī)整，我們經(jīng)常要做的工作匯報(bào)、產(chǎn)品優(yōu)化等分析數(shù)據(jù)一般來(lái)源于此。可以找公司的技術(shù)人員索要，或者自己去數(shù)據(jù)庫(kù)提取。

當(dāng)然，很多時(shí)候，我們需要利用外部的數(shù)據(jù)。比如進(jìn)行市場(chǎng)調(diào)研，競(jìng)品分析，或者輸出報(bào)告的時(shí)候，外部數(shù)據(jù)的分析是必不可少的，這也可以幫助我們得出更多的結(jié)論。

1. 公開(kāi)數(shù)據(jù)源

UCI ：加州大學(xué)歐文分校開(kāi)放的經(jīng)典數(shù)據(jù)集，真的很經(jīng)典，被很多機(jī)器學(xué)習(xí)實(shí)驗(yàn)室采用。

http://archive.ics.uci.edu/ml/datasets.html

國(guó)家數(shù)據(jù) ：數(shù)據(jù)來(lái)源于中國(guó)國(guó)家統(tǒng)計(jì)局，包含了我國(guó)經(jīng)濟(jì)民生等多個(gè)方面的數(shù)據(jù)。

http://data.stats.gov.cn/index.htm

CEIC ：超過(guò)128個(gè)國(guó)家的經(jīng)濟(jì)數(shù)據(jù)，能夠精確查找GDP、CPI、進(jìn)出口以及國(guó)際利率等深度數(shù)據(jù)。

https://www.ceicdata.com/zh-hans

中國(guó)統(tǒng)計(jì)信息網(wǎng) ：國(guó)家統(tǒng)計(jì)局的官方網(wǎng)站，匯集了海量的全國(guó)各級(jí)政府各年度的國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展統(tǒng)計(jì)信息。

http://www.tjcn.org/

政務(wù)數(shù)據(jù)網(wǎng)站 ：現(xiàn)在各個(gè)省都在很大程度上地開(kāi)放政務(wù)數(shù)據(jù)，比如北京、上海、廣東、貴州等等，都有專(zhuān)門(mén)的數(shù)據(jù)開(kāi)放網(wǎng)站，搜索比如“北京政務(wù)數(shù)據(jù)開(kāi)放”。

2. 網(wǎng)絡(luò)爬蟲(chóng)

基于互聯(lián)網(wǎng)爬取的數(shù)據(jù)，你可以對(duì)某個(gè)行業(yè)、某種人群進(jìn)行分析。比如：

職位數(shù)據(jù)：拉勾、獵聘、51job、智聯(lián)

金融數(shù)據(jù)：IT桔子、雪球網(wǎng)

房產(chǎn)數(shù)據(jù)：鏈家、安居客、58同城

零售數(shù)據(jù)：淘寶、京東、亞馬遜

社交數(shù)據(jù)、微博、知乎、Twitter

影視數(shù)據(jù)：豆瓣、時(shí)光網(wǎng)、貓眼

……

在爬蟲(chóng)之前你需要先了解一些 Python 的基礎(chǔ)知識(shí)：元素（列表、字典、元組等）、變量、循環(huán)、函數(shù)（菜鳥(niǎo)教程就很好）……

以及如何用成熟的 Python 庫(kù)（urllib、BeautifulSoup、requests、scrapy）實(shí)現(xiàn)網(wǎng)頁(yè)爬蟲(chóng)。

掌握基礎(chǔ)的爬蟲(chóng)之后，你還需要一些高級(jí)技巧。比如正則表達(dá)式、模擬用戶登錄、使用代理、設(shè)置爬取頻率、使用cookie等等，來(lái)應(yīng)對(duì)不同網(wǎng)站的反爬蟲(chóng)限制。爬蟲(chóng)可以說(shuō)是最為靈活、有效的數(shù)據(jù)獲取方式，但學(xué)習(xí)成本相對(duì)來(lái)說(shuō)也要高一些。開(kāi)始建議先利用公開(kāi)數(shù)據(jù)進(jìn)行分析，后續(xù)有更多的數(shù)據(jù)需求，再上手爬蟲(chóng)。那個(gè)時(shí)候你已經(jīng)掌握了Python基礎(chǔ)，爬蟲(chóng)上手也會(huì)更輕松。

3. 其他數(shù)據(jù)獲取方式

如果你暫時(shí)不會(huì)爬蟲(chóng)，但又有采集數(shù)據(jù)的需求，可以嘗試各種采集軟件，不需要編程知識(shí)也可以輕松爬取信息，比如火車(chē)頭、八爪魚(yú)等。很多數(shù)據(jù)競(jìng)賽網(wǎng)站也會(huì)公開(kāi)不錯(cuò)的數(shù)據(jù)集，比如國(guó)外的Kaggle，國(guó)內(nèi)的DataCastle、天池。這些數(shù)據(jù)都是真實(shí)的業(yè)務(wù)數(shù)據(jù)，且規(guī)模通常不小，可以經(jīng)常去搜集和整理。

推薦數(shù)據(jù)匯總資源：

數(shù)據(jù)獲取方式匯總?? https://dwz.cn/Q44MsDkH

常用的數(shù)據(jù)獲取方式如下:

數(shù)據(jù)存儲(chǔ)與提取?

數(shù)據(jù)庫(kù)這個(gè)技能放在這里，是因?yàn)檫@是數(shù)據(jù)分析師的必備技能。大多數(shù)的企業(yè)，都會(huì)要求你有操作、管理數(shù)據(jù)庫(kù)的基本技能，進(jìn)行數(shù)據(jù)的提取和基本分析。SQL作為最經(jīng)典的關(guān)系型數(shù)據(jù)庫(kù)語(yǔ)言，為海量數(shù)據(jù)的存儲(chǔ)與管理提供可能。MongoDB則是新崛起的非關(guān)系型數(shù)據(jù)庫(kù)，掌握一種即可。

初學(xué)建議SQL。你需要掌握以下技能：

1.查詢/提取特定情況下的數(shù)據(jù)：企業(yè)數(shù)據(jù)庫(kù)里的數(shù)據(jù)一定是巨量而繁復(fù)的，你需要提取你想要的那一部分。

比如你可以根據(jù)你的需要提取2017年所有的銷(xiāo)售數(shù)據(jù)、提取今年銷(xiāo)量最大的50件商品的數(shù)據(jù)、提取上海、廣東地區(qū)用戶的消費(fèi)數(shù)據(jù)……

2.數(shù)據(jù)庫(kù)的增、刪、改：這些是數(shù)據(jù)庫(kù)最基本的操作，但只要用簡(jiǎn)單的命令就能夠?qū)崿F(xiàn)。

3.數(shù)據(jù)的分組聚合、建立多個(gè)表之間的聯(lián)系：這個(gè)部分是數(shù)據(jù)庫(kù)的進(jìn)階操作，多個(gè)表之間的關(guān)聯(lián)。

在你處理多維度、多個(gè)數(shù)據(jù)集的時(shí)候非常有用，這也讓你可以去處理更復(fù)雜的數(shù)據(jù)。

數(shù)據(jù)庫(kù)聽(tīng)起來(lái)很可怕，但其實(shí)滿足數(shù)據(jù)分析的那部分技能不要太簡(jiǎn)單。當(dāng)然，還是建議你找一個(gè)數(shù)據(jù)集來(lái)實(shí)際操作一下，哪怕是最基礎(chǔ)的查詢、提取等操作。

推薦數(shù)據(jù)庫(kù)教程：

SQL-菜鳥(niǎo)教程? https://dwz.cn/a042MLdz

MongoDB-菜鳥(niǎo)教程 https://dwz.cn/sJFhRzj1

mySQL知識(shí)框架如下：

MongoDB知識(shí)框架如下：

?

數(shù)據(jù)清洗及預(yù)分析

很多時(shí)候我們拿到的數(shù)據(jù)是不干凈的，數(shù)據(jù)的重復(fù)、缺失、異常值等等。這時(shí)候就需要進(jìn)行數(shù)據(jù)的清洗，把這些影響分析的數(shù)據(jù)處理好，才能獲得更加精確地分析結(jié)果。比如空氣質(zhì)量的數(shù)據(jù)，其中有很多天的數(shù)據(jù)由于設(shè)備的原因是沒(méi)有監(jiān)測(cè)到的，有一些數(shù)據(jù)是記錄重復(fù)的，還有一些數(shù)據(jù)是設(shè)備故障時(shí)監(jiān)測(cè)無(wú)效的。比如用戶行為數(shù)據(jù)，有很多無(wú)效的操作對(duì)分析沒(méi)有意義，就需要進(jìn)行刪除。

·選擇：數(shù)據(jù)訪問(wèn)（標(biāo)簽、特定值、布爾索引等）

·缺失值處理：對(duì)缺失數(shù)據(jù)行進(jìn)行刪除或填充

·重復(fù)值處理：重復(fù)值的判斷與刪除

·空格和異常值處理：清楚不必要的空格和極端、異常數(shù)據(jù)

·相關(guān)操作：描述性統(tǒng)計(jì)、Apply、圖形繪制等

從數(shù)據(jù)處理開(kāi)始，就需要介入編程知識(shí)了，但不必把Python的教程完全啃一遍，只需要掌握數(shù)據(jù)分析必備的那部分即可。

·基本的數(shù)據(jù)類(lèi)型：比如字符串、列表、字典、元組，不同的數(shù)據(jù)類(lèi)型如何創(chuàng)建、進(jìn)行增、刪、改等操作，以及其中常用的函數(shù)及方法；

·Python函數(shù)：學(xué)習(xí)如何去創(chuàng)建自己的函數(shù)，實(shí)現(xiàn)更豐富的定制化程序，知道在使用中如何調(diào)用；

·控制語(yǔ)句：主要是條件語(yǔ)句和循環(huán)語(yǔ)句，利用不同的語(yǔ)句對(duì)流程進(jìn)行控制，這是實(shí)現(xiàn)程序的自動(dòng)化的基礎(chǔ)。

Python教程推薦：

Python3-菜鳥(niǎo)教程? https://dwz.cn/2nJnWkrp

Python練手項(xiàng)目合集? https://dwz.cn/cpM0jua5

Python基礎(chǔ)知識(shí)框架如下：

?

另外，Python中兩個(gè)非常重要的庫(kù)Numpy和Pandas也是需要掌握的，我們的很多數(shù)據(jù)處理及分析方法就源于其中。如果把Python比作是我們的房子，為我們提供基礎(chǔ)的框架，那么Numpy和Pandas就是房子里的家具和電器，為我們?nèi)胱√峁└鞣N功能。當(dāng)然，即便只是這兩個(gè)庫(kù)，官方文檔的內(nèi)容也是非常多的，建議先掌握最常用的一些方法，這樣你可以解決大部分的實(shí)際問(wèn)題，若后續(xù)遇到問(wèn)題可以有針對(duì)性地去查詢文檔。

?

Numpy

·數(shù)組創(chuàng)建：從已有的數(shù)組創(chuàng)建、從數(shù)值范圍創(chuàng)建

·數(shù)組切片：通過(guò)切片進(jìn)行選擇

·數(shù)組操作：元素增刪、數(shù)組維度修改、數(shù)組的分割及連接

·Numpy函數(shù)：字符串函數(shù)、數(shù)學(xué)函數(shù)、統(tǒng)計(jì)函數(shù)

推薦Numpy文檔：

Nump快速入門(mén)? http://h5ip.cn/ypHr

Numpy中文文檔? https://www.numpy.org.cn/

Numpy知識(shí)框架如下：

Pandas

·數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)讀取、創(chuàng)建數(shù)據(jù)表

·數(shù)據(jù)查看：查看數(shù)據(jù)基本信息、查找空值和唯一值

·數(shù)據(jù)清洗：缺失值處理、重復(fù)值處理、字符處理

·數(shù)據(jù)提取：按標(biāo)簽值進(jìn)行提取、按位置進(jìn)行提取

·數(shù)據(jù)統(tǒng)計(jì)：采樣、匯總、基本的統(tǒng)計(jì)量計(jì)算

推薦Pandas文檔：

十分鐘入門(mén)Pandas? http://t.cn/EVTGis7

Pandas中文文檔? https://www.pypandas.cn/

Pandas知識(shí)框架如下：

?

數(shù)據(jù)清洗是數(shù)據(jù)預(yù)處理的重要組成部分，也是耗時(shí)間最長(zhǎng)的一部分，因此根本多篇文章總結(jié)腦圖便于自己梳理清楚數(shù)據(jù)清洗的處理步驟，由此知道數(shù)據(jù)清洗該如何下手。
借鑒文章及數(shù)據(jù)如下：
專(zhuān)欄1：數(shù)據(jù)清洗https://zhuanlan.zhihu.com/dataclean ：詳細(xì)介紹了數(shù)據(jù)清洗的主要方面
專(zhuān)欄2：python3 pandas庫(kù)https://zhuanlan.zhihu.com/c_129235459：數(shù)據(jù)清洗主要用pandas庫(kù)，其中有很多函數(shù)眾多，該專(zhuān)欄將主要函數(shù)介紹的相對(duì)清楚
書(shū)籍：《利用python進(jìn)行數(shù)據(jù)分析》

?

數(shù)據(jù)分析及建模

如果你有一些了解的話，就知道目前市面上其實(shí)有很多 Python 數(shù)據(jù)分析的書(shū)籍，但每一本都很厚，學(xué)習(xí)阻力非常大。如果沒(méi)有整體的認(rèn)識(shí)，往往不知道為什么要學(xué)習(xí)這些操作，這在數(shù)據(jù)分析中到底起什么樣的作用。為了得出普遍意義上的結(jié)論（或者從一般的數(shù)據(jù)分析項(xiàng)目來(lái)看），我們通常要進(jìn)行三種類(lèi)型的數(shù)據(jù)分析：描述性分析、探索性分析以及預(yù)測(cè)性分析。

描述性分析主要是有目的去描述數(shù)據(jù)，這就要借助統(tǒng)計(jì)學(xué)的知識(shí)，比如基本的統(tǒng)計(jì)量、總體樣本、各種分布等等。

通過(guò)這些信息，我們可以獲得對(duì)數(shù)據(jù)的初步感知，也能夠得到很多簡(jiǎn)單觀察得不到的結(jié)論。

所以其實(shí)描述性的分析主要需要兩個(gè)部分的知識(shí)，其一是統(tǒng)計(jì)學(xué)的基礎(chǔ)，其二是實(shí)現(xiàn)描述性的工具，用上述 Numpy 和 Pandas 的知識(shí)即可實(shí)現(xiàn)。

探索性分析通常需要借助可視化的手段，利用圖形化的方式，更進(jìn)一步地去觀看數(shù)據(jù)的分布規(guī)律，發(fā)現(xiàn)數(shù)據(jù)里的知識(shí)，得到更深入的結(jié)論。

所謂“探索”，事實(shí)上有很多結(jié)論我們是無(wú)法提前預(yù)知的，圖形則彌補(bǔ)了觀察數(shù)據(jù)和簡(jiǎn)單統(tǒng)計(jì)的不足。

Python中的Seaborn和Matplotlib庫(kù)都提供了強(qiáng)大的可視化功能。

相對(duì)于Matplotlib，Seaborn更加簡(jiǎn)單易于理解，畫(huà)基本的圖形也就是幾行代碼的事情，更推薦初學(xué)使用。

如后續(xù)需要定制化圖形，可進(jìn)一步了解Matplotlib。

預(yù)測(cè)性的數(shù)據(jù)分析主要用于預(yù)測(cè)未來(lái)的數(shù)據(jù)，比如根據(jù)歷史銷(xiāo)售數(shù)據(jù)預(yù)測(cè)未來(lái)某段時(shí)間的銷(xiāo)售情況，比如通過(guò)用戶數(shù)據(jù)預(yù)測(cè)未來(lái)用戶的行為……

預(yù)測(cè)性分析稍難，越深入會(huì)涉及更多數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)的知識(shí)，所以可以只做做基本了解（或者等有需求的時(shí)候再學(xué)習(xí)）。

比如基本的回歸、分類(lèi)算法，以及如何用Python的scikit-learn庫(kù)去實(shí)現(xiàn)，至于機(jī)器學(xué)習(xí)相關(guān)的算法選擇、模型調(diào)優(yōu)則不必深入（除非你游刃有余）。

推薦數(shù)據(jù)分析資料：

書(shū)籍《深入淺出統(tǒng)計(jì)學(xué)》《商務(wù)與經(jīng)濟(jì)統(tǒng)計(jì)學(xué)》

Matplotlib中文文檔 https://www.matplotlib.org.cn

十分鐘掌握Seaborn https://dwz.cn/4ePGzwAg

Scikit-learn中文文檔 http://sklearn.apachecn.org

數(shù)據(jù)分析建模知識(shí)框架如下：

撰寫(xiě)數(shù)據(jù)報(bào)告

數(shù)據(jù)報(bào)告是整個(gè)數(shù)據(jù)分析項(xiàng)目的最終呈現(xiàn)，也是所有分析過(guò)程的總結(jié)，輸出結(jié)論和策略的部分。所以無(wú)論你的心路歷程多么精彩，數(shù)據(jù)報(bào)告才是最終決定你分析價(jià)值的產(chǎn)物。要寫(xiě)好一個(gè)分析報(bào)告，首先要明確數(shù)據(jù)分析任務(wù)的目標(biāo)，是要探索數(shù)據(jù)里的知識(shí)，還有要對(duì)產(chǎn)品進(jìn)行優(yōu)化，或者預(yù)測(cè)未來(lái)的數(shù)據(jù)。針對(duì)這些目標(biāo)，那么需要對(duì)問(wèn)題進(jìn)行拆分，要達(dá)到目標(biāo)，必須要輸出哪些有價(jià)值的信息。

對(duì)于最終的決策，哪些數(shù)據(jù)、信息是有用的，是否要進(jìn)一步探索，哪些是無(wú)效的，是否直接丟棄。確定好輸出的大致內(nèi)容、在數(shù)據(jù)分析過(guò)程中得到有用的結(jié)論之后，接下來(lái)應(yīng)該思考，如何把這些分散的信息整合起來(lái)，為了達(dá)到最終的說(shuō)服力，應(yīng)該以怎樣的邏輯進(jìn)行整合。

這是一個(gè)建立框架的過(guò)程，同時(shí)也反映這這個(gè)問(wèn)題的拆解思路。在搭建好框架之后，就是把已有的結(jié)論填充進(jìn)去，選擇合適的表達(dá)形式。選擇更合適的數(shù)據(jù)，哪些需要更加直觀的圖表，哪些結(jié)論需要進(jìn)行詳細(xì)的解釋?zhuān)⑦M(jìn)行最終的美化設(shè)計(jì)，這樣一份完整的數(shù)據(jù)分析報(bào)告也就完成了。

在寫(xiě)分析報(bào)告時(shí)，有一些一定要注意的地方：

1.一定要有框架，最簡(jiǎn)單的就是以問(wèn)題拆分的邏輯來(lái)進(jìn)行搭建，在每個(gè)分支進(jìn)行內(nèi)容填充，分點(diǎn)說(shuō)明；

2.數(shù)據(jù)的選擇不要過(guò)于片面，要多元化，進(jìn)行對(duì)比分析，否則結(jié)論可能有失偏頗。

數(shù)據(jù)的價(jià)值決定了分析項(xiàng)目的上限，盡可能多收集有用的數(shù)據(jù)，進(jìn)行多維度的分析；

3.結(jié)論一定要有客觀的數(shù)據(jù)論證，或者嚴(yán)密的邏輯推導(dǎo)，否則沒(méi)有說(shuō)服力，特別容易陷入自嗨；

4.圖表比文字更加直觀，而且可讀性更高，應(yīng)該多利用圖形化的表達(dá)方式；

5.分析報(bào)告不只是要說(shuō)明問(wèn)題，更重要的是基于問(wèn)題提出建議、解決方案、預(yù)測(cè)趨勢(shì)；

6.多看行業(yè)報(bào)告，多練習(xí)，Business Sense 在后期比技巧更重要。

推薦數(shù)據(jù)報(bào)告相關(guān)網(wǎng)站：

艾瑞網(wǎng)-數(shù)據(jù)報(bào)告? http://report.iresearch.cn/

友盟+-數(shù)據(jù)報(bào)告? http://t.cn/EVT6Z6z

世界經(jīng)濟(jì)論壇報(bào)告? http://t.cn/RVncVVv

普華永道行業(yè)報(bào)告? http://t.cn/RseRaoE

撰寫(xiě)數(shù)據(jù)報(bào)告的框架如下：

以上就是Python數(shù)據(jù)分析完整的學(xué)習(xí)路徑，只需要一些業(yè)務(wù)的常識(shí)，像均值、極值、排序、相關(guān)性、中位數(shù)……這些東西我們信手捏來(lái)的東西往往占據(jù)數(shù)據(jù)分析的絕大多數(shù)內(nèi)容，你所學(xué)的只不過(guò)是實(shí)現(xiàn)這些的工具而已。就像一個(gè)100行的數(shù)據(jù)，給任何一個(gè)智力正常的人，不用任何工具和編程技術(shù)，他也能獲得一份基本的結(jié)論，而工具則是讓我們?cè)谛省⒖蓴U(kuò)展性和實(shí)現(xiàn)維度方面得到更好的提升.
?

?