爬蟲的概念:爬蟲就是獲取網頁并提取和保存信息的自動化程序爬蟲的分類:主要有四類:通用網絡爬蟲,聚焦網絡爬蟲,增量式網絡爬蟲,深層網絡爬蟲爬蟲的流程:常見的幾種爬蟲問題:主要有五類:靜態網頁的爬取,Ajax數據的爬取,動態渲染頁面爬取,驗證碼的識別,代理的使用常見的爬蟲框架:pyspider框架,Scrapy框架分布式爬蟲:在多臺機器上運行爬蟲程序爬蟲的一些常用"庫":解析庫:lxml;BeautifulSoup;pyquery;tesserocr請求庫:r
系統 2019-09-27 17:56:05 1819
主要講如何在公司利用Python搞API自動化。1.分層設計思路dataPool:數據池層,里面有我們需要的各種數據,包括一些公共數據等config:基礎配置tools:工具層common:公共方法層runCase:需要運行的測試用例noRunCase:不需要運行的測試用例testReport:這里存放生成的測試報告2.編寫common:公共方法層2.1getTimestamp.py我們在common文件夾下新建一個getTimestamp.py。因為業務
系統 2019-09-27 17:53:46 1819
#0.PyCharm常用快捷鍵#1.查看使用庫源碼PyCharm主程序員在Stackoverflow上答道經常聽人說,多看源碼。源碼不僅能幫我們搞清楚運行機制,還能學習優秀的庫或者框架的最佳實踐。調用庫時,你可以在你好奇的幾乎任何地方點擊Command+B,就可以很方便的跳轉到源碼里的類,方法,函數,變量的定義。#2.讓你的代碼PEP8寫Python代碼時,你會嚴格遵守pep8規范么?還是要遵守的,不然代碼傳到github或者知乎上被人懟就不好了。但是如果
系統 2019-09-27 17:53:10 1819
python的循環編寫程序時經常有代碼需要重復運行,python提供了while和for進行循環操作。一、while循環1、while循環可以根據條件進行判斷,決定是否要循環執行語句塊,語法如下:循環條件后面也是要使用冒號,然后縮進寫循環操作語句,先判斷條件是否成立,如果為true,則執行循環操作語句,如果為false,則跳出循環。示例代碼如下:count=0while(count<5):count=count+1print(count)#結果>>>5變量
系統 2019-09-27 17:52:20 1819
最近在自學python,又用python實現了一下BLAST。這次更新了打分函數如下,空位罰分改為-5,但不區分gapopen和gapextend。'''''@author:JiuYu'''defscore(a,b):#scoringfunctionscore=0lst=['AC','GT','CA','TG']ifa==b:score+=2elifa+binlst:score+=-5else:score+=-7returnscoredefBLAST(se
系統 2019-09-27 17:52:10 1819
感覺這種理解有問題,舉個例子來說。classDog(object):name='dog'definit(self):self.age=18d1=Dog()d2=Dog()這里有兩個實例d1,d2吧。d1.name#輸出dogd2.name#輸出dogd1.name='abc'd1.name#輸出abcd2.name#輸出dogDog.name#輸出dog原因是d1.name輸出dog不是因為這個實例共享了類屬性,而是因為這個實例沒有dog屬性,所以pyth
系統 2019-09-27 17:51:12 1819
注釋PIL是python的一個圖像處理庫,功能非常強大,可以實現圖片的格式轉換、旋轉、裁剪、改變尺寸、像素處理、圖片合并等等操作。PIL已經更名為pillow所以在終端輸入pip3installpil會報錯,而應該輸入pip3installpillow進行安裝。源碼fromPILimportImagedefImage_PreProcessing():#待處理圖片存儲路徑im=Image.open('UnprocessImage.jpeg')#Resize圖
系統 2019-09-27 17:50:56 1819
什么是變量:用來綁定數據對象的標識符一.變量的命名規則:變量名必須為字母或下劃線開頭,后跟字母或下劃線或數字不能使用python的關鍵字命名命名規則可以被視為一種慣例,并無絕對與強制目的是為了增加代碼的識別和可讀性在定義變量時,為了保證代碼格式,=的左右應該各保留一個空格在Python中,如果變量名需要由二個或多個單詞組成時,可以按照以下方式命名每個單詞都使用小寫字母單詞與單詞之間使用_下劃線連接例如:first_name、ast_name、qq_numb
系統 2019-09-27 17:50:41 1819
使用paramiko庫:https://github.com/paramiko/paramiko簡單封裝SSH類importparamikoclassSSH:def__init__(self,host,port,user,ssh_key_path,timeout=1800):self.host=hostself.port=portself.user=userself.ssh_key_path=ssh_key_pathself.timeout=timeout
系統 2019-09-27 17:50:38 1819
原文鏈接:https://www.cnblogs.com/Eva-J/articles/7228075.html什么是正則?假如現在你用python寫一段代碼,類似:phone_number=input('pleaseinputyourphonenumber:')你怎么判斷這個phone_number是合法的呢?根據手機號碼一共11位并且是只以13、14、15、16、17、18、19開頭的數字這些特點,用python寫如下代碼:判斷手機號碼是否合法:#方法
系統 2019-09-27 17:50:16 1819