由于工作的需求,需要用python做一個類似網絡爬蟲的采集器。雖然Python的urllib模塊提供更加方便簡潔操作,但是涉及到一些底層的需求,如手動設定User-Agent,Referer等,所以選擇了直接用socket進行設計。當然,這樣的話,需要對HTTP協議比較熟悉,HTTP協議這里就不做講解了。整個python的代碼如下:#!/usr/binenvpythonimportsockethost="www.baidu.com"se=socket.so
系統 2019-09-27 17:52:30 1783
我瀏覽了下網上關于怎么Python爬蟲入門的文章,發現有的還在教人用urllib來發送http請求,這真是有點誤人子弟了。本文也不提倡剛開始去學習第三方爬蟲框架,我想把要學習的知識簡化一些,讓入門更快速,更專注。Python爬蟲入門:技能真要說Python爬蟲需要具備什么知識,那就是你得會Python,哈哈。其他的知識就是你能熟練運用Python的幾個第三方庫,當然你具備一點htmljavascriptcsshttp協議可以提高你的解決問題的效率,但這是一
系統 2019-09-27 17:52:27 1783
1、python裝飾器最基礎的函數1defsum1():2sum=1+23print(sum)4sum1()查看函數執行用了多長時間,寫了幾句代碼插進去了:1importtime23defsum1():4start=time.clock()5sum=1+26print(sum)7end=time.clock()8print("timeused:",end-start)910sum1()可是隨著繼續翻看,對越來越多的函數感興趣了,都想看下他們的運行時間如何,
系統 2019-09-27 17:52:26 1783
程序說明:本程序實現將開發程序服務器中的打包文件通過該腳本上傳到正式生產環境(注:生產環境和開發環境不互通)程序基本思路:將開發環境中的程序包拷貝到本地堡壘機將程序包進行解壓獲得解壓后的文件通同步到生產服務器上主要知識點:python庫os.system()的基本使用利用python調用xshell命令程序使用方法:pythonaddline.py開發主機ip程序包目標主機ip上傳目錄上傳編號如:pythonaddline.py240/home/shaoj
系統 2019-09-27 17:52:05 1783
原文鏈接:https://aiprocon.csdn.net/?utm_source=wx作者|xiaoyu來源|Python與數據科學前言學過Python數據分析的朋友都知道,在可視化的工具中,有很多優秀的三方庫,比如matplotlib,seaborn,plotly,Boken,pyecharts等等。這些可視化庫都有自己的特點,在實際應用中也廣為大家使用。plotly、Boken等都是交互式的可視化工具,結合Jupyternotebook可以非常靈活
系統 2019-09-27 17:51:48 1783
前言今天就簡單的對日志做個封裝,實際工作中直接拿去用吧方法1"""------------------------------------@Time:2019/5/228:12@Auth:linux超@File:logfile.py@IDE:PyCharm@Motto:Realwarriors,daretofacethebleakwarning,daretofacetheincisiveerror!-----------------------------
系統 2019-09-27 17:51:39 1783
Python標準庫中有很多實用的工具類,但是在具體使用時,標準庫文檔上對使用細節描述的并不清楚,比如urllib2這個HTTP客戶端庫。這里總結了一些urllib2的使用細節。1.Proxy的設置2.Timeout設置3.在HTTPRequest中加入特定的Header4.Redirect5.Cookie6.使用HTTP的PUT和DELETE方法7.得到HTTP的返回碼8.DebugLogProxy的設置urllib2默認會使用環境變量http_proxy
系統 2019-09-27 17:51:34 1783
打開excel文件讀取數據data=xlrd.open_workbook("excelFile.xls")讀取工作表table=data.sheets()[0]#通過索引順序獲取table=data.sheet_by_index(0)#通過索引順序獲取table=data.sheet_by_name(u'Sheet1')#通過名稱獲取獲取整行和整列的值(數組)table.row_values(i)#獲取整行值table.col_values(i)#獲取整列
系統 2019-09-27 17:51:17 1783
步驟:1.掌握幾種對象及其關系2.了解每類對象的基本操作方法3.通過轉化關系轉化涉及對象1.datetime>>>importdatetime>>>now=datetime.datetime.now()>>>nowdatetime.datetime(2018,1,12,23,9,12,946118)>>>type(now)2.timestamp>>>importtime>>>time.time()1421075455.5682433.timetuple>>
系統 2019-09-27 17:51:17 1783
漫談如果作為一個Python入門,不了解Python裝飾器也沒什么,但是如果作為一個中級Python開發人員,如果再不對python裝飾器熟稔于心的話,那么可能并沒有量變積累到質變。我以前也看過很多講python裝飾器的文章,但是都是看了就忘。一方面是沒有做太多的練習,二是對它的領會不是很深。希望引以為戒!!!鄭傳裝飾模式如果你了解Java,你肯定聽過裝飾器模式。在面向對象中,裝飾模式指:動態地給一個對象添加一些額外的職責。就增加一些功能來說,裝飾模式比生
系統 2019-09-27 17:51:05 1783