亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python h5py 操作 —— 以cifar數(shù)據(jù)集為例

系統(tǒng) 2263 0

本文要做的是如何把cifar-10數(shù)據(jù)集創(chuàng)建并寫入hdf5文件中,以介紹python操作HDF類文件的常用方法

1、從官網(wǎng)下載數(shù)據(jù)集cifar-10:cifar官網(wǎng)(注意下載python版的)

下載完后要先解壓,不能直接上代碼;Linux下解壓:

            
              tar -zxvf 壓縮包名.tar.gz  # 適用于.tar.gz文件
unzip filename.zip # 適用于zip文件
            
          

解壓后看到下面情況: python h5py 操作 —— 以cifar數(shù)據(jù)集為例_第1張圖片

然后才能上以下代碼來讀取數(shù)據(jù)文件:

            
              import cPickle as pickle

def unpickle(file):
    fo = open(file, 'rb')
    dict = pickle.load(fo)
    fo.close()
    return dict['data'], dict['labels']

# 這樣就可以讀取每個batch的數(shù)據(jù)了,一個batch包含10000個樣本以及對應的標簽,從batch_1到5是5萬個訓練樣本,還有個test_batch是一萬個測試樣本以及對應標簽;
            
          

假設我對cifar處理后得到三個文件分別為‘cifar_rc_32.npy’,‘cifar_rc_64.npy’,‘cifar_rc_128.npy’三個文件,要創(chuàng)建或?qū)懭搿甤ifar.hdf5’:

            
              import h5py
import numpy as np

rc_32 = np.load('cifar_rc_32.npy')
rc_64 = np.load('cifar_rc_64.npy')
rc_128 = np.load('cifar_rc_128.npy')

f = h5py.File('cifar.hdf5','w') # 如果沒有會創(chuàng)建,有的話會覆蓋式寫入
#先要創(chuàng)建組,我一開始因為沒有創(chuàng)建組group導致后來的操作會有麻煩,所以建議先創(chuàng)建組:
f.create_group('data')
dataset = f['group'].create_dataset('rc_32',data=rc_32)
dataset.attrs['prob_hh'] = property_value # 還可以給數(shù)據(jù)集對象添加屬性描述.

f['group'].create_dataset('rc_64',data=rc_64)
f['group'].create_dataset('rc_128',data=rc_128)
# 這樣就在group ‘data’下創(chuàng)建了三個數(shù)據(jù)集了。

# 寫入數(shù)據(jù)集還可以有一下操作:
# 準備待寫入數(shù)據(jù):
data = np.arange(10000).reshape(100,100)
# 寫入數(shù)據(jù):
f['data'] = data

label = np.arange(10000)
f['label/resnet/rc_128'] = label
# 這樣也可以創(chuàng)建數(shù)據(jù)集
            
          

?其實還有一種快速寫入hdf5文件的方式就是如果你創(chuàng)建過組可以用更方面的方式寫入數(shù)據(jù)到原來不存在的目錄:

            
              f['labels/resnet1/rc_32']  = rc_32
f['labels/resnet1/rc_64'] = rc_64
f['labels/resnet1/rc_128'] = rc_128
            
          

rc_32、rc_64、rc_128是數(shù)據(jù)。?

group下面還可以創(chuàng)建group,dataset,是嵌套的,創(chuàng)建group就像創(chuàng)建目錄一樣;創(chuàng)建dataset就像在目錄下寫入有具體名字的數(shù)據(jù)一樣。


更多文章、技術(shù)交流、商務合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 私人影院免费观看 | 777奇米影视视频在线播放 | 国产综合成人亚洲区 | 国产成人女人视频在线观看 | 亚洲欧美国产五月天综合 | 九九精品热 | 亚洲成人观看 | 免费一级片在线 | 奇米888影视 | 久热精品香蕉在线视频 | 色综合久久综合网 | 国产福利一区二区三区在线视频 | 在线免费观看毛片 | 国产精品国产欧美综合一区 | 久久久久久久综合日本亚洲 | 欧美一级特毛片 | 欧美视频在线观看 | 午夜伦y4480影院中文字幕 | 国产乱人视频在线播放不卡 | 国产午夜亚洲精品国产 | 欧美一级爱操视频 | 国产精品久久久99 | 四虎精品福利视频精品 | 日本免费特黄aa毛片 | 97视频在线免费观看 | 110139日韩欧美 | 久久噜噜久久久精品66 | 亚洲女bbwxxxx另类 | 欧毛片 | 国产香蕉91tv永久在线 | 亚洲福利视频在线 | 波多野结衣绝顶大高潮 | 午夜dj影院在线视频观看完整 | 婷婷成人基地 | 亚洲最大激情网 | 欧美性理论片在线观看片免费 | 开心片色99xxxx | 精品视频在线免费观看 | 国产精品视屏 | 欧美亚洲另类图片 | 色视频国产 |