本文記錄了筆者用Python爬取淘寶某商品的全過程，并對商品數(shù)據(jù)進行了挖掘與分析，最終得出結論。項目內容本案例選擇>>商品類目：沙發(fā)；數(shù)量：共100頁4400個商品；篩選條件：天貓、銷量從高到低、價格500元以上。項目目的1.對商品標題進行文本分析詞云可視化2.不同關鍵詞word對應的sales的統(tǒng)計分析3.商品的價格分布情況分析4.商品的銷量分布情況分析5.不同價格區(qū)間的商品的平均銷量分布6.商品價格對銷量的影響分析7.商品價格對銷售額的影響分析8.不同
系統(tǒng) 2019-09-27 17:46:23 1775
為了加快網站的加載速度，我們通常要多js和css進行壓縮處理。這些js和css的壓縮工作如果都手動處理，費時費力。DjangoCompressor可以實現(xiàn)js/css的自動壓縮。DjangoCompressor在易用性方面做的非常好，按照文檔做簡單的設置后就可以正常工作。強烈建議大家去將文檔完整的看一遍（文檔很短）。使用的時候，只需要將css/js放到compress標簽中DjangoCompressor即可自動進行處理。在debug模式時，DjangoC
系統(tǒng) 2019-09-27 17:46:13 1775
時隔已久，再次冒煙，自動化測試工作仍在繼續(xù)，自動化測試中的數(shù)據(jù)驅動技術尤為重要，不然咋去實現(xiàn)數(shù)據(jù)分離呢，對吧，這里就簡單介紹下與傳統(tǒng)unittest自動化測試框架匹配的DDT數(shù)據(jù)驅動技術。話不多說，先擼一波源碼，其實整體代碼并不多#-*-coding:utf-8-*-#ThisfileisapartofDDT(https://github.com/txels/ddt)#Copyright2012-2015CarlesBarrobésandDDTcontri
系統(tǒng) 2019-09-27 17:46:08 1775
centos7.3安裝python查看當前python情況[root@localhost/]#cd/[root@localhostbin]#cd/usr/bin[root@localhostbin]#lspython*pythonpython2python2.7[root@localhostbin]#ls-alpython*修改軟連接[root@localhostbin]#mvpythonpython.bak開始做下載準備[root@localhostbi
系統(tǒng) 2019-09-27 17:45:46 1775
IPython+ptpython，完美體驗首先是安裝pipinstallipythonptpython然后使用ptipython有什么好處1.IPython是非常強大的Python增強工具2.ptpython提供了類似IDE的自動補全功能3.當你在命令行輸入pyipython時，便結合了這兩者的功能，無比強大！virtualenv+virtualenvwrapper，輕松創(chuàng)建隔離環(huán)境首先安裝pipinstallvirtualenvwrapper（會自動把v
系統(tǒng) 2019-09-27 17:38:45 1775
本文實例講述了python實現(xiàn)的config文件讀寫功能。分享給大家供大家參考，具體如下：1、設置配置文件[mysql]host=1234port=3306user=rootpassword=Zhsy08241128database=leartd2、讀取配置文件importconfigparserimportosconf=configparser.ConfigParser()defreadConf():'''讀取配置文件'''root_path=os.pa
系統(tǒng) 2019-09-27 17:38:38 1775
心血來潮寫了個多線程抓妹子圖，雖然代碼還是有一些瑕疵，但是還是記錄下來，分享給大家。Pic_downloader.py#-*-coding:utf-8-*-"""CreatedonFriAug0717:30:582015@author:Dreace"""importurllib2importsysimporttimeimportosimportrandomfrommultiprocessing.dummyimportPoolasThreadPooltype
系統(tǒng) 2019-09-27 17:38:32 1775
今天有點??a=['XXXX_game.sql','XXXX_game_sp.sql','XXXX_gamelog_sp.sql','XXXX_gamelog.sql']foriina:if'gamelog'ini:a.remove(i)printa['XXXX_game.sql','XXXX_game_sp.sql','XXXX_gamelog.sql']歷遍的過程中明顯MISS掉了'XXXX_gamelog.sql'這個項目，大家可以自己試試，為什么會
系統(tǒng) 2019-09-27 17:38:32 1775
網絡爬蟲，即WebSpider，是一個很形象的名字。把互聯(lián)網比喻成一個蜘蛛網，那么Spider就是在網上爬來爬去的蜘蛛。1.網絡爬蟲的定義網絡蜘蛛是通過網頁的鏈接地址來尋找網頁的。從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然后通過這些鏈接地址尋找下一個網頁，這樣一直循環(huán)下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯(lián)網當成一個網站，那么網絡蜘蛛就可以用這個原理把互聯(lián)網上所有的網頁都抓取下來。這樣看來，網絡爬蟲
系統(tǒng) 2019-09-27 17:38:28 1775
什么是twisted？twisted是一個用python語言寫的事件驅動的網絡框架，他支持很多種協(xié)議，包括UDP,TCP,TLS和其他應用層協(xié)議，比如HTTP，SMTP，NNTM，IRC，XMPP/Jabber。非常好的一點是twisted實現(xiàn)和很多應用層的協(xié)議，開發(fā)人員可以直接只用這些協(xié)議的實現(xiàn)。其實要修改Twisted的SSH服務器端實現(xiàn)非常簡單。很多時候，開發(fā)人員需要實現(xiàn)protocol類。一個Twisted程序由reactor發(fā)起的主循環(huán)和一些回調
系統(tǒng) 2019-09-27 17:38:27 1775
