最近博主手上有一個(gè)爬蟲(chóng)項(xiàng)目，開(kāi)始深入研究python爬蟲(chóng)開(kāi)發(fā)，這是我篇博客也相當(dāng)于是我的學(xué)習(xí)筆記，我認(rèn)為學(xué)習(xí)爬蟲(chóng)第一步，先學(xué)習(xí)python多線程與多進(jìn)程，熟悉網(wǎng)絡(luò)編程，接下來(lái)會(huì)陸續(xù)以博客的方式跟大家做分享。多進(jìn)程Python實(shí)現(xiàn)多進(jìn)程的方式主要有兩種，一種方法是使用os模塊中的fork方法，另一種方法是使用multiprocessing模塊。這兩種方法的區(qū)別在于前者僅適用于Unix/Linux操作系統(tǒng)，對(duì)Windows不支持，后者則是跨平臺(tái)的實(shí)現(xiàn)方式，目前
系統(tǒng) 2019-09-27 17:53:30 1752
本來(lái)是在找交通識(shí)別的程序，然后湊巧看見(jiàn)了證件照換底，于是學(xué)習(xí)了一下~一開(kāi)始在網(wǎng)上找了一個(gè)很普遍寫(xiě)的程序，但是效果并不好，想要放棄了，然后看見(jiàn)了這個(gè)，參考：pythonopencv實(shí)現(xiàn)證件照換底功能本人基于此做了一些改進(jìn)，便于自己運(yùn)行和調(diào)試，還加了中值濾波，本人覺(jué)得效果還不錯(cuò)~代碼：importcv2importnumpyasnpdefcvtBackground(path,color):"""功能：給證件照更換背景色（常用背景色紅、白、藍(lán)）輸入?yún)?shù)：path
系統(tǒng) 2019-09-27 17:53:20 1752
Python面向?qū)ο缶幊獭惓Ｌ幚硪弧⑹裁词钱惓．惓＞褪浅绦蜻\(yùn)行時(shí)發(fā)生錯(cuò)誤的信號(hào)（在程序出現(xiàn)錯(cuò)誤時(shí)，則會(huì)產(chǎn)生一個(gè)異常，若程序沒(méi)有處理它，則會(huì)拋出該異常，程序的運(yùn)行也隨之終止），在python中,錯(cuò)誤觸發(fā)的異常如下：而錯(cuò)誤分成兩種1、語(yǔ)法錯(cuò)誤（這種錯(cuò)誤，根本過(guò)不了python解釋器的語(yǔ)法檢測(cè)，必須在程序執(zhí)行前就改正）#語(yǔ)法錯(cuò)誤示范一if#語(yǔ)法錯(cuò)誤示范二deftest:pass#語(yǔ)法錯(cuò)誤示范三classFoopass#語(yǔ)法錯(cuò)誤示范四print(haha)2、
系統(tǒng) 2019-09-27 17:53:13 1752
早聽(tīng)說(shuō)用python做網(wǎng)絡(luò)爬蟲(chóng)非常方便，正好這幾天單位也有這樣的需求，需要登陸XX網(wǎng)站下載部分文檔，于是自己親身試驗(yàn)了一番，效果還不錯(cuò)。本例所登錄的某網(wǎng)站需要提供用戶名，密碼和驗(yàn)證碼，在此使用了python的urllib2直接登錄網(wǎng)站并處理網(wǎng)站的Cookie。Cookie的工作原理：Cookie由服務(wù)端生成，然后發(fā)送給瀏覽器，瀏覽器會(huì)將Cookie保存在某個(gè)目錄下的文本文件中。在下次請(qǐng)求同一網(wǎng)站時(shí)，會(huì)發(fā)送該Cookie給服務(wù)器，這樣服務(wù)器就知道該用戶是否合
系統(tǒng) 2019-09-27 17:53:11 1752
首先,你得下載SocksiPy這個(gè).解壓出來(lái)之后里面會(huì)有一個(gè)socks.py文件.然后你可以把這個(gè)文件復(fù)制到python安裝目錄里面的Lib\site-packages中.或者把這個(gè)文件復(fù)制到程序所在的目錄中.然后就可以再程序中使用socket代理來(lái)編寫(xiě)程序了.下面是示例代碼importsocksimportsocketsocks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5,"127.0.0.1",8088)socket
系統(tǒng) 2019-09-27 17:53:08 1752
#使用StandardScaler進(jìn)行數(shù)據(jù)預(yù)處理importnumpyimportmatplotlib.pyplotaspltfromsklearn.datasetsimportmake_blobsX,y=make_blobs(n_samples=40,centers=2,random_state=50,cluster_std=2)plt.scatter(X[:,0],X[:,1],c=y,cmap=plt.cm.cool)plt.show()#導(dǎo)入Sta
系統(tǒng) 2019-09-27 17:52:41 1752
Python命令行之旅：使用argparse實(shí)現(xiàn)git命令作者：HelloGitHub-ProdesireHelloGitHub的《講解開(kāi)源項(xiàng)目》系列，項(xiàng)目地址：https://github.com/HelloGitHub-Team/Article前言在前面三篇介紹argparse的文章中，我們?nèi)媪私饬薬rgparse的能力，相信不少小伙伴們都已經(jīng)摩拳擦掌，想要打造一個(gè)屬于自己的命令行工具。本文將以我們?nèi)粘９ぷ髦凶畛Ｒ?jiàn)的git命令為例，講解如何使用arg
系統(tǒng) 2019-09-27 17:52:36 1752
mkvirtualenv-ppython3環(huán)境名創(chuàng)建虛擬環(huán)境rmvirtualenv環(huán)境名刪除環(huán)境進(jìn)入虛擬環(huán)境workon環(huán)境名(workon+tab可以出來(lái)所有環(huán)境)查看環(huán)境下所有包pip3list查看環(huán)境下安裝的包(不包括原生python包)pip3freeze依賴包文件生成pip3freeze>requirements.txt環(huán)境導(dǎo)入依賴包pip3install-rrequirements.txt普通安裝pip3install包名這是linux下的指
系統(tǒng) 2019-09-27 17:52:34 1752
之前用了谷歌的selenium模塊，為了練習(xí)一下所以寫(xiě)了這個(gè)（沒(méi)錯(cuò)才不是別的理由！）代碼里涉及到了各種復(fù)雜的情況，包括要找的div在別的iframe中的處理方式，頂部導(dǎo)航欄的定位方式等等。綜合性很強(qiáng)下面是代碼fromseleniumimportwebdriverimporttimefromfake_useragentimportUserAgentopt=webdriver.ChromeOptions()#opt.add_argument('--headle
系統(tǒng) 2019-09-27 17:52:25 1752
Python語(yǔ)言與Perl，C和Java等語(yǔ)言有許多相似之處，也有一定的差異性，以下是Python語(yǔ)言獲取文件后綴名和文件名的方法：#Python獲取文件后綴名的方法importos.pathdeffile_extension(path):returnos.path.splitext(path)[1]printfile_extension('/py/a.py')輸出：.py#Python獲取目錄和文件名importos.pathdeffile_extens
系統(tǒng) 2019-09-27 17:52:22 1752
