在機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)中，我們常常碰到一個(gè)問(wèn)題是數(shù)據(jù)集的切分。比如在一個(gè)比賽中，舉辦方給我們的只是一個(gè)帶標(biāo)注的訓(xùn)練集和不帶標(biāo)注的測(cè)試集。其中訓(xùn)練集是用于訓(xùn)練，而測(cè)試集用于已訓(xùn)練模型上跑出一個(gè)結(jié)果，然后提交，然后舉辦方驗(yàn)證結(jié)果給出一個(gè)分?jǐn)?shù)。但是我們?cè)谟?xùn)練過(guò)程中，可能會(huì)出現(xiàn)過(guò)擬合等問(wèn)題，會(huì)面臨著算法和模型的選擇，此時(shí)，驗(yàn)證集就顯得很重要。通常，如果數(shù)據(jù)量充足，我們會(huì)從訓(xùn)練集中劃分出一定比例的數(shù)據(jù)來(lái)作為驗(yàn)證集。

每次劃分?jǐn)?shù)據(jù)集都手動(dòng)寫一個(gè)腳本，重復(fù)性太高，因此將此簡(jiǎn)單的腳本放到自己的博客。代碼如下：

            
import random

def split(full_list,shuffle=False,ratio=0.2):
  n_total = len(full_list)
  offset = int(n_total * ratio)
  if n_total==0 or offset<1:
    return [],full_list
  if shuffle:
    random.shuffle(full_list)
  sublist_1 = full_list[:offset]
  sublist_2 = full_list[offset:]
  return sublist_1,sublist_2


if __name__ == "__main__":
  li = range(5)
  sublist_1,sublist_2 = split(li,shuffle=True,ratio=0.2)

  print sublist_1,len(sublist_1)
  print sublist_2,len(sublist_2)


          

其中，main為測(cè)試代碼。假如訓(xùn)練集給出的是一個(gè)文件，我們先將文件讀到列表中，然后再調(diào)用split。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。