文件操作對(duì)編程語言的重要性不用多說，如果數(shù)據(jù)不能持久保存，信息技術(shù)也就失去了意義。按照本人經(jīng)驗(yàn)，IO也是蠻頭疼的一件事，因?yàn)椴粫?huì)用得太多，所以總是記不住API，每次都要重新google就會(huì)打斷思路，還不一定每次都快速得到正確的文章。

本文內(nèi)容包括：

? ? 文件的讀寫操作

? ? 文件的各種系統(tǒng)操作

? ? 存儲(chǔ)對(duì)象

?

遍歷文件

上代碼：

?

            import os
import os.path
rootdir = "d:/code/su/data"                                   # 指明被遍歷的文件夾

for parent,dirnames,filenames in os.walk(rootdir):    #三個(gè)參數(shù)：分別返回1.父目錄 2.所有文件夾名字（不含路徑） 3.所有文件名字
    for dirname in  dirnames:                       #輸出文件夾信息
        print "parent is:" + parent
        print  "dirname is" + dirname
    
    for filename in filenames:                        #輸出文件信息
        print "parent is:" + parent
        print "filename is:" + filename
        print "the full name of the file is:" + os.path.join(parent,filename) #輸出文件路徑信息
          

?

?

? ? 按照博主的理解，每個(gè)元組代表的含義是線程處于某一個(gè)狀態(tài)的影像。目錄樹的遍歷過程就是由這一個(gè)一個(gè)的狀態(tài)構(gòu)成的。在每個(gè)狀態(tài)下， 線程獲得一個(gè)目錄節(jié)點(diǎn)，同時(shí)獲得這個(gè)目錄節(jié)點(diǎn)下的所有目錄節(jié)點(diǎn)和文件節(jié)點(diǎn)。

?

如果只需要獲得單個(gè)目錄節(jié)點(diǎn)的子節(jié)點(diǎn)：

os.listdir(rootdir)

?

?

基于字符read & write

最基本的文件操作當(dāng)然就是在文件中讀寫數(shù)據(jù)。這也是很容易掌握的。現(xiàn)在打開一個(gè)文件以進(jìn)行寫操作：

1. fileHandle = open ( 'test.txt', 'w' )

fileHandle = open ( 'test.txt', 'w' )

‘w'是指文件將被寫入數(shù)據(jù)，語句的其它部分很好理解。下一步就是將數(shù)據(jù)寫入文件：

1. fileHandle.write ( 'This is a test.\nReally, it is.' )

fileHandle.write ( 'This is a test.\nReally, it is.' )

這個(gè)語句將“This is a test.”寫入文件的第一行，“Really, it is.”寫入文件的第二行。最后，我們需要做清理工作，并且關(guān)閉文件：

1. fileHandle.close()

fileHandle.close()

正如你所見，在Python的面向?qū)ο髾C(jī)制下，這確實(shí)非常簡單。需要注意的是，當(dāng)你再次使用“w”方式在文件中寫數(shù)據(jù)，所有原來的內(nèi)容都會(huì)被刪除。如果想保留原來的內(nèi)容，可以使用“a”方式在文件中結(jié)尾附加數(shù)據(jù)：

1. fileHandle = open ( 'test.txt', 'a' )
2. fileHandle.write ( '\n\nBottom line.' )
3. fileHandle.close()

fileHandle = open ( 'test.txt', 'a' )
fileHandle.write ( '\n\nBottom line.' )
fileHandle.close()

然后，我們讀取test.txt，并將內(nèi)容顯示出來：

1. fileHandle = open ( 'test.txt' )
2. print fileHandle.read()
3. fileHandle.close()

fileHandle = open ( 'test.txt' )
print fileHandle.read()
fileHandle.close()

以上語句將讀取整個(gè)文件并顯示其中的數(shù)據(jù)。

?

基于行的讀寫 line

1. fileHandle = open ( 'test.txt' )??
2. print fileHandle.readline() # "This is a test."??
3. fileHandle.close()??

fileHandle = open ( 'test.txt' )?
print fileHandle.readline() # "This is a test."?
fileHandle.close()?


同時(shí)，也可以將文件內(nèi)容保存到一個(gè)list中：?

1. fileHandle = open ( 'test.txt' )??
2. fileList = fileHandle.readlines() ?
3. for fileLine in fileList:??
4.???? print '>>', fileLine??
5. fileHandle.close()??

fileHandle = open ( 'test.txt' )?
fileList = fileHandle.readlines()?
for fileLine in fileList:?
print '>>', fileLine?
fileHandle.close()?

?

或者在文件中一次讀取幾個(gè)字節(jié)的內(nèi)容：

1. fileHandle = open ( 'test.txt' )?
2. print fileHandle.read ( 1 ) # "T"?
3. fileHandle.seek ( 4 )?
4. print FileHandle.read ( 1 ) # " "(原文有錯(cuò))

fileHandle = open ( 'test.txt' )?
print fileHandle.read ( 1 ) # "T"?
fileHandle.seek ( 4 )?
print FileHandle.read ( 1 ) # " "(原文有錯(cuò))

?

隨機(jī)訪問文件中的位置 seek

Python在讀取一個(gè)文件時(shí)，會(huì)記住其在文件中的位置，如下所示：

1. fileHandle = open ( 'test.txt' )
2. garbage = fileHandle.readline()
3. fileHandle.readline() # "Really, it is."fileHandle.close()

fileHandle = open ( 'test.txt' )
garbage = fileHandle.readline()
fileHandle.readline() # "Really, it is."fileHandle.close()

可以看到，只有第二行顯示出來。然而，我們可以讓Python從頭開始讀來解決這個(gè)問題：

1. fileHandle = open ( 'test.txt' )
2. garbage = fileHandle.readline()
3. fileHandle.seek ( 0 )
4. print fileHandle.readline() # "This is a test."
5. fileHandle.close()

fileHandle = open ( 'test.txt' )
garbage = fileHandle.readline()
fileHandle.seek ( 0 )
print fileHandle.readline() # "This is a test."
fileHandle.close()

在上面這個(gè)例子中，我們讓Python從文件第一個(gè)字節(jié)開始讀取數(shù)據(jù)。所以，第一行文字顯示了出來。當(dāng)然，我們也可以獲取Python在文件中的位置：

1. fileHandle = open ( 'test.txt' )
2. print fileHandle.readline() # "This is a test."
3. print fileHandle.tell() # "17"
4. print fileHandle.readline() # "Really, it is."

fileHandle = open ( 'test.txt' )
print fileHandle.readline() # "This is a test."
print fileHandle.tell() # "17"
print fileHandle.readline() # "Really, it is."

?

二進(jìn)制方式讀寫

在Windows和Macintosh環(huán)境下，有時(shí)可能需要以二進(jìn)制方式讀寫文件，比如圖片和可執(zhí)行文件。此時(shí)，只要在打開文件的方式參數(shù)中增加一個(gè)“b”即可：

1. fileHandle = open ( 'testBinary.txt', 'wb' )
2. fileHandle.write ( 'There is no spoon.' )
3. fileHandle.close()

fileHandle = open ( 'testBinary.txt', 'wb' )
fileHandle.write ( 'There is no spoon.' )
fileHandle.close()

1. fileHandle = open ( 'testBinary.txt', 'rb' )
2. print fileHandle.read()
3. fileHandle.close()

fileHandle = open ( 'testBinary.txt', 'rb' )
print fileHandle.read()
fileHandle.close()

?

?

python本身并沒有對(duì)二進(jìn)制進(jìn)行支持，不過提供了一個(gè)模塊來彌補(bǔ)，就是struct模塊。

python沒有二進(jìn)制類型，但可以存儲(chǔ)二進(jìn)制類型的數(shù)據(jù)，就是用string字符串類型來存儲(chǔ)二進(jìn)制數(shù)據(jù)，這也沒關(guān)系，因?yàn)閟tring是以1個(gè)字節(jié)為單位的。

import struct

a=12.34

#將a變?yōu)槎M(jìn)制

bytes=struct.pack('i',a)

此時(shí)bytes就是一個(gè)string字符串，字符串按字節(jié)同a的二進(jìn)制存儲(chǔ)內(nèi)容相同。

?

再進(jìn)行反操作

現(xiàn)有二進(jìn)制數(shù)據(jù)bytes，（其實(shí)就是字符串），將它反過來轉(zhuǎn)換成python的數(shù)據(jù)類型：

a,=struct.unpack('i',bytes)

注意，unpack返回的是tuple

所以如果只有一個(gè)變量的話：

bytes=struct.pack('i',a)

那么，解碼的時(shí)候需要這樣

a,=struct.unpack('i',bytes) 或者 (a,)=struct.unpack('i',bytes)

如果直接用a=struct.unpack('i',bytes)，那么 a=(12.34,) ，是一個(gè)tuple而不是原來的浮點(diǎn)數(shù)了。

如果是由多個(gè)數(shù)據(jù)構(gòu)成的，可以這樣：

?

a='hello'

b='world!'

c=2

d=45.123

bytes=struct.pack('5s6sif',a,b,c,d)

此時(shí)的bytes就是二進(jìn)制形式的數(shù)據(jù)了，可以直接寫入文件比如 binfile.write(bytes)

然后，當(dāng)我們需要時(shí)可以再讀出來，bytes=binfile.read()

再通過struct.unpack()解碼成python變量
a,b,c,d=struct.unpack('5s6sif',bytes)

'5s6sif'這個(gè)叫做fmt，就是格式化字符串，由數(shù)字加字符構(gòu)成，5s表示占5個(gè)字符的字符串，2i，表示2個(gè)整數(shù)等等，下面是可用的字符及類型，ctype表示可以與python中的類型一一對(duì)應(yīng)。

?

===============================================================================================

各種系統(tǒng)操作

?

注意：雖然python中提供了各種拼接目錄的函數(shù)，但是經(jīng)本人實(shí)驗(yàn)，函數(shù)并不能保證字符編碼不出問題，很大可能導(dǎo)致程序錯(cuò)誤。所以最好還是自己拼接。

?

python中對(duì)文件、文件夾（文件操作函數(shù)）的操作需要涉及到os模塊和shutil模塊。

得到當(dāng)前工作目錄，即當(dāng)前Python腳本工作的目錄路徑: os.getcwd()

返回指定目錄下的所有文件和目錄名:os.listdir()

函數(shù)用來刪除一個(gè)文件:os.remove()

刪除多個(gè)目錄：os.removedirs（r“c：\python”）

檢驗(yàn)給出的路徑是否是一個(gè)文件：os.path.isfile()

檢驗(yàn)給出的路徑是否是一個(gè)目錄：os.path.isdir()

判斷是否是絕對(duì)路徑：os.path.isabs()

檢查是否快捷方式os.path.islink ( filename?)

檢驗(yàn)給出的路徑是否真地存:os.path.exists()

返回一個(gè)路徑的目錄名和文件名:os.path.split() eg os.path.split('/home/swaroop/byte/code/poem.txt') 結(jié)果：('/home/swaroop/byte/code', 'poem.txt')

分離擴(kuò)展名：os.path.splitext()

獲取路徑名：os.path.dirname()

獲取文件名：os.path.basename()

運(yùn)行shell命令: os.system()

讀取和設(shè)置環(huán)境變量:os.getenv() 與os.putenv()

給出當(dāng)前平臺(tái)使用的行終止符:os.linesep Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r'

指示你正在使用的平臺(tái)：os.name 對(duì)于Windows，它是'nt'，而對(duì)于Linux/Unix用戶，它是'posix'

重命名：os.rename（old， new）

創(chuàng)建多級(jí)目錄：os.makedirs（r“c：\python\test”）

創(chuàng)建單個(gè)目錄：os.mkdir（“test”）

獲取文件屬性：os.stat（file）

修改文件權(quán)限與時(shí)間戳：os.chmod（file）

終止當(dāng)前進(jìn)程：os.exit（）

獲取文件大小：os.path.getsize（filename）

文件操作：
os.mknod("test.txt") 創(chuàng)建空文件
fp = open("test.txt",w) 直接打開一個(gè)文件，如果文件不存在則創(chuàng)建文件

關(guān)于open 模式：

w 以寫方式打開，
a 以追加模式打開 (從 EOF 開始, 必要時(shí)創(chuàng)建新文件)
r+ 以讀寫模式打開
w+ 以讀寫模式打開 (參見 w )
a+ 以讀寫模式打開 (參見 a )
rb 以二進(jìn)制讀模式打開
wb 以二進(jìn)制寫模式打開 (參見 w )
ab 以二進(jìn)制追加模式打開 (參見 a )
rb+ 以二進(jìn)制讀寫模式打開 (參見 r+ )
wb+ 以二進(jìn)制讀寫模式打開 (參見 w+ )
ab+ 以二進(jìn)制讀寫模式打開 (參見 a+ )

?

fp.read([size]) #size為讀取的長度，以byte為單位

fp.readline([size]) #讀一行，如果定義了size，有可能返回的只是一行的一部分

fp.readlines([size]) #把文件每一行作為一個(gè)list的一個(gè)成員，并返回這個(gè)list。其實(shí)它的內(nèi)部是通過循環(huán)調(diào)用readline()來實(shí)現(xiàn)的。如果提供size參數(shù)，size是表示讀取內(nèi)容的總長，也就是說可能只讀到文件的一部分。

fp.write(str) #把str寫到文件中，write()并不會(huì)在str后加上一個(gè)換行符

fp.writelines(seq) #把seq的內(nèi)容全部寫到文件中(多行一次性寫入)。這個(gè)函數(shù)也只是忠實(shí)地寫入，不會(huì)在每行后面加上任何東西。

fp.close() #關(guān)閉文件。python會(huì)在一個(gè)文件不用后自動(dòng)關(guān)閉文件，不過這一功能沒有保證，最好還是養(yǎng)成自己關(guān)閉的習(xí)慣。 如果一個(gè)文件在關(guān)閉后還對(duì)其進(jìn)行操作會(huì)產(chǎn)生ValueError

fp.flush() #把緩沖區(qū)的內(nèi)容寫入硬盤

fp.fileno() #返回一個(gè)長整型的”文件標(biāo)簽“

fp.isatty() #文件是否是一個(gè)終端設(shè)備文件（unix系統(tǒng)中的）

fp.tell() #返回文件操作標(biāo)記的當(dāng)前位置，以文件的開頭為原點(diǎn)

fp.next() #返回下一行，并將文件操作標(biāo)記位移到下一行。把一個(gè)file用于for … in file這樣的語句時(shí)，就是調(diào)用next()函數(shù)來實(shí)現(xiàn)遍歷的。

fp.seek(offset[,whence]) #將文件打操作標(biāo)記移到offset的位置。這個(gè)offset一般是相對(duì)于文件的開頭來計(jì)算的，一般為正數(shù)。但如果提供了whence參數(shù)就不一定了，whence可以為0表示從頭開始計(jì)算，1表示以當(dāng)前位置為原點(diǎn)計(jì)算。2表示以文件末尾為原點(diǎn)進(jìn)行計(jì)算。需要注意，如果文件以a或a+的模式打開，每次進(jìn)行寫操作時(shí)，文件操作標(biāo)記會(huì)自動(dòng)返回到文件末尾。

fp.truncate([size]) #把文件裁成規(guī)定的大小，默認(rèn)的是裁到當(dāng)前文件操作標(biāo)記的位置。如果size比文件的大小還要大，依據(jù)系統(tǒng)的不同可能是不改變文件，也可能是用0把文件補(bǔ)到相應(yīng)的大小，也可能是以一些隨機(jī)的內(nèi)容加上去。

?

目錄操作：
os.mkdir("file") 創(chuàng)建目錄
復(fù)制文件：
shutil.copyfile("oldfile","newfile") oldfile和newfile都只能是文件
shutil.copy("oldfile","newfile") oldfile只能是文件夾，newfile可以是文件，也可以是目標(biāo)目錄
復(fù)制文件夾：
shutil.copytree("olddir","newdir") olddir和newdir都只能是目錄，且newdir必須不存在
重命名文件（目錄）
os.rename("oldname","newname") 文件或目錄都是使用這條命令
移動(dòng)文件（目錄）
shutil.move("oldpos","newpos")
刪除文件
os.remove("file")
刪除目錄
os.rmdir("dir")只能刪除空目錄
shutil.rmtree("dir") 空目錄、有內(nèi)容的目錄都可以刪
轉(zhuǎn)換目錄
os.chdir("path") 換路徑

?

ps: 文件操作時(shí)，常常配合正則表達(dá)式：

img_dir = img_dir.replace('\\','/')

===============================================================================================

?存儲(chǔ)對(duì)象

?

?

使用前一節(jié)中介紹的模塊，可以實(shí)現(xiàn)在文件中對(duì)字符串的讀寫。
然而，有的時(shí)候，你可能需要傳遞其它類型的數(shù)據(jù)，如list、tuple、dictionary和其它對(duì)象。在Python中，你可以使用Pickling來完成。你可以使用Python標(biāo)準(zhǔn)庫中的“pickle”模塊完成數(shù)據(jù)編組。
下面，我們來編組一個(gè)包含字符串和數(shù)字的list：

1. import pickle
2.
3. fileHandle = open ( 'pickleFile.txt', 'w' )
4. testList = [ 'This', 2, 'is', 1, 'a', 0, 'test.' ]
5. pickle.dump ( testList, fileHandle )
6. fileHandle.close()

import pickle

fileHandle = open ( 'pickleFile.txt', 'w' )
testList = [ 'This', 2, 'is', 1, 'a', 0, 'test.' ]
pickle.dump ( testList, fileHandle )
fileHandle.close()

拆分編組同樣不難：

1. import pickle
2.
3. fileHandle = open ( 'pickleFile.txt' )
4. testList = pickle.load ( fileHandle )
5. fileHandle.close()

import pickle

fileHandle = open ( 'pickleFile.txt' )
testList = pickle.load ( fileHandle )
fileHandle.close()

現(xiàn)在試試存儲(chǔ)更加復(fù)雜的數(shù)據(jù)：

1. import pickle
2.
3. fileHandle = open ( 'pickleFile.txt', 'w' )
4. testList = [ 123, { 'Calories' : 190 }, 'Mr. Anderson', [ 1, 2, 7 ] ]
5. pickle.dump ( testList, fileHandle )
6. fileHandle.close()

import pickle

fileHandle = open ( 'pickleFile.txt', 'w' )
testList = [ 123, { 'Calories' : 190 }, 'Mr. Anderson', [ 1, 2, 7 ] ]
pickle.dump ( testList, fileHandle )
fileHandle.close()

1. import pickle
2.
3. fileHandle = open ( 'pickleFile.txt' )
4. testList = pickle.load ( fileHandle )
5. fileHandle.close()

import pickle

fileHandle = open ( 'pickleFile.txt' )
testList = pickle.load ( fileHandle )
fileHandle.close()

如上所述，使用Python的“pickle”模塊編組確實(shí)很簡單。眾多對(duì)象可以通過它來存儲(chǔ)到文件中。如果可以的話，“cPickle”同樣勝任這個(gè)工作。它和“pickle”模塊一樣，但是速度更快：

1. import cPickle
2.
3. fileHandle = open ( 'pickleFile.txt', 'w' )
4. cPickle.dump ( 1776, fileHandle )
5. fileHandle.close()

import cPickle

fileHandle = open ( 'pickleFile.txt', 'w' )
cPickle.dump ( 1776, fileHandle )
fileHandle.close()

?

?

字符串匹配

對(duì)于簡單的數(shù)據(jù)，使用流文本文件而不是數(shù)據(jù)庫更簡單明了，也就少不了文件操作和字符串匹配的需求。

re模塊的search和match方法是匹配到就返回，而不是去匹配所有，而findall()則匹配所有返回?cái)?shù)組。
　>>> m=re.findall("^a\w+","abcdfa\na1b2c3",re.MULTILINE)
　>>> m
　['abcdfa', 'a1b2c3']

?