之前想爬取一些淘寶的數據，后來發現需要登錄，找了很多的資料，有個使用request的sessions加上cookie來登錄的，cookie的獲取在登錄后使用開發者工具可以找到。不過這個登錄后獲得的網頁的代碼是靜態的，獲取動態網頁還得另尋他法，一般需要的數據可以在網頁的源碼中得到，但是你知道的，有些動態加載的就不是那么簡單了，而且我發現這樣獲得的源碼中，有些想要獲取的數據的格式是經過改動的，比如我要某個商品的具體鏈接，發現并不能直接使用。總體而言，這是一次失
系統 2019-09-27 17:54:47 1751
原文鏈接：https://edu.csdn.net/topic/python115?utm_source=yjs我一直認為，敢裸辭的只有2種人：1、能力足夠強，即使裸辭也不會被財務問題所困，更不愁找工作。2、年輕氣盛，遇到傻X領導和傻X同事，絕對0容忍！但是最近我在刷某乎的時候，發現了第三種人。為了方便面試而裸辭。裸辭面試11家python公司一口氣拿到4個offer這無疑是一種高效的方式，但是如果底氣不夠，還是很容易陷入焦慮的。還好的是，這位up主后續更
系統 2019-09-27 17:54:32 1751
在學習python的時候，三大“名器”對沒有其他語言編程經驗的人來說，應該算是一個小難點，本次博客就博主自己對裝飾器、迭代器和生成器理解進行解釋。為什么要使用裝飾器什么是裝飾器？“裝飾”從字面意思來誰就是對特定的建筑物內按照一定的思路和風格進行美化的一種行為，所謂“器”就是工具，對于python來說裝飾器就是能夠在不修改原始的代碼情況下給其添加新的功能，比如一款軟件上線之后，我們需要在不修改源代碼和不修改被調用的方式的情況下還能為期添加新的功能，在pyth
系統 2019-09-27 17:54:20 1751
在開始Python編程前，需要先安裝Python環境。Python安裝包可以到Python的官網下載，官網地址是https://www.python.org/，如果想直接跳過關于Python的介紹相關直接下載安裝包，則可以直接訪問https://www.python.org/downloads/下載安裝包即可。Windows下安裝Python要在Windows下安裝Python，請按照下面的步驟進行：1、打開Web瀏覽器，訪問https://www.pyt
系統 2019-09-27 17:54:19 1751
類代碼：#-*-coding:gbk-*-importConfigParser,osclassINIFILE:def__init__(self,filename):self.filename=filenameself.initflag=Falseself.cfg=Noneself.readhandle=Noneself.writehandle=NonedefInit(self):self.cfg=ConfigParser.ConfigParser()try
系統 2019-09-27 17:54:17 1751
有時候我們的爬蟲程序添加了代理，但是我們不知道程序是否獲取到了ip，尤其是動態轉發模式的，這時候就需要進行檢測了，以下是一種代理是否偽裝成功的檢測方式，這里推介使用億牛云提供的代碼示例。Python?requests#!-*-encoding:utf-8-*-importrequestsimportrandom#要訪問的目標頁面targetUrl="http://httpbin.org/ip"#要訪問的目標HTTPS頁面#targetUrl="https:
系統 2019-09-27 17:54:07 1751
代碼如下fromfake_useragentimportUserAgentfromlxmlimportetreeimportrequests,osimporttime,re,datetimeimportbase64,json,pymysqlfromfontTools.ttLibimportTTFontua=UserAgent()classCustomException(Exception):def__init__(self,status,msg):self
系統 2019-09-27 17:53:51 1751
最近博主手上有一個爬蟲項目，開始深入研究python爬蟲開發，這是我篇博客也相當于是我的學習筆記，我認為學習爬蟲第一步，先學習python多線程與多進程，熟悉網絡編程，接下來會陸續以博客的方式跟大家做分享。多進程Python實現多進程的方式主要有兩種，一種方法是使用os模塊中的fork方法，另一種方法是使用multiprocessing模塊。這兩種方法的區別在于前者僅適用于Unix/Linux操作系統，對Windows不支持，后者則是跨平臺的實現方式，目前
系統 2019-09-27 17:53:30 1751
classRoom:def__init__(self,name,length,width):self.__name=nameself.__length=lengthself.__width=widthdefget_name(self):returnself.__namedefset_name(self,newName):iftype(newName)isstrandnewName.isdigit()==False:self.__name=newNameel
系統 2019-09-27 17:53:27 1751
正則表達式并不是Python的一部分。正則表達式是用于處理字符串的強大工具，擁有自己獨特的語法以及一個獨立的處理引擎，效率上可能不如str自帶的方法，但功能十分強大。得益于這一點，在提供了正則表達式的語言里，正則表達式的語法都是一樣的，區別只在于不同的編程語言實現支持的語法數量不同；但不用擔心，不被支持的語法通常是不常用的部分。在前面學習了比較多模式，有前向搜索的，也有后向搜索的，有肯定模式的，也有否定模式的。這次再來學習一個，就是后向搜索肯定模式，意思就
系統 2019-09-27 17:53:26 1751
