在讀取https://github.com/Embedding/Chinese-Word-Vectors中的中文詞向量時(shí)，選擇了一個(gè)有3G多的txt文件，之前在做詞向量時(shí)用的是word2vec，所以直接導(dǎo)入模型然后indexword即可。
因?yàn)檫@是一個(gè)txt大文件，嘗試了DataFrame，np.loadtxt等，都沒(méi)有成功，其中主要遇到的問(wèn)題是：
- 如何讀取完整的大文件，而不會(huì)出現(xiàn)內(nèi)存不足memery error等問(wèn)題
- 將讀取出來(lái)的文件，保存為npy文件
- 根據(jù)詞找到對(duì)應(yīng)的向量
解決辦法 ：
嘗試使用的代碼：
代碼1:
try:
lines=np.loadtxt(filepath)
catch:
感覺(jué)這塊不會(huì)寫(xiě)了咦，，，
print(ValueError)
但這樣的話，它就不會(huì)繼續(xù)循環(huán)去讀上邊的txt了呢
代碼2：
lines=[]
with open(filepath) as f:
for line in f:
lines.append(line)
np.save(filepath,lines)
代碼3
def readEmbedFile(embedFile):
# embedId = {}
# input = open(embedFile,'r',encoding="utf-8")
# lines = []
# a=0
# for line in input:
# lines.append(line)
# a=a+1
# print(a)
# nwords = len(lines) - 1
# splits = lines[1].strip().split(' ') # 因?yàn)榈谝恍惺墙y(tǒng)計(jì)信息，所以用第二行
# dim = len(splits) - 1
# embeddings=[]
# # embeddings = [[0 for col in range(dim)] for row in range(nwords)]
# b=0
# for lineId in range(len(lines)):
# b=b+1
# print(b)
# splits = lines[lineId].split(' ')
# if len(splits) > 2:
# # embedId賦值
# embedId[splits[0]] = lineId
# # embeddings賦值
# emb = [float(splits[i]) for i in range(1, 300)]
# embeddings.append(emb)
# return embedId, embeddings
代碼4：
def load_txt(filename):
lines=[]
vec_dict={}
with open(filename,r) as f:
for line in f:
list=line.strip()
lines.append(line)
for i, line in emuate(lines):
if i=0:
continue
line=line.split(" ")
wordID=line[0]
wordvec=[float line[i] for i in range(1,300)]
vec_dict[wordId]=np.array(wordvec)
return vec_dict
具體內(nèi)存不足主要的原因是：
我的虛擬機(jī)中確實(shí)內(nèi)存不太夠，后來(lái)使用實(shí)驗(yàn)室32G的主機(jī)后，可以得到idvec，而得不到向量的，報(bào)的錯(cuò)還是memory error.
另一個(gè)原因，是需要把詞向量轉(zhuǎn)換為float形式，在python中str 占的內(nèi)存>float類型，如代碼所示：
print("str",sys.getsizeof(""))
print("float",sys.getsizeof(1.1))
print("int",sys.getsizeof(1))
print("list",sys.getsizeof([]))
print("tuple",sys.getsizeof(()))
print("dic",sys.getsizeof([]))
str 49
float 24
int 28
list 64
tuple 48
dic 64
在我的電腦，64位操作系統(tǒng)，64位的python, 所占內(nèi)存大小排序?yàn)椋?
dic=list>str>tuple>int>float
讀取時(shí)候可以用np.load().item就可以復(fù)原原來(lái)的字典，主要參照下述文件：
然后通過(guò)python的字典操作就可以遍歷得到每個(gè)詞的詞向量了，dic[vocab]
心得 ：
距離完全解決項(xiàng)目的問(wèn)題還有5~6的大關(guān)卡,但靜下心來(lái)，一步步地做總會(huì)突破的呀！
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系： 360901061
您的支持是博主寫(xiě)作最大的動(dòng)力，如果您喜歡我的文章，感覺(jué)我的文章對(duì)您有幫助，請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長(zhǎng)非常感激您！手機(jī)微信長(zhǎng)按不能支付解決辦法：請(qǐng)將微信支付二維碼保存到相冊(cè)，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
