Python數(shù)據(jù)集切分實(shí)例

發(fā)布時(shí)間：2020-10-02 20:52:26 來(lái)源：腳本之家閱讀：212 作者：shenhuaifeng 欄目：開發(fā)技術(shù)

在處理數(shù)據(jù)過(guò)程中經(jīng)常要把數(shù)據(jù)集切分為訓(xùn)練集和測(cè)試集，因此記錄一下切分代碼。

'''
data:數(shù)據(jù)集
test_ratio:測(cè)試機(jī)占比
如果data為numpy.numpy.ndarray直接使用此代碼
如果data為pandas.DatFrame類型則
  return data[train_indices],data[test_indices]
修改為
  return data.iloc[train_indices],data.iloc[test_indices]
'''
def split_train(data,test_ratio):
  shuffled_indices=np.random.permutation(len(data))
  test_set_size=int(len(data)*test_ratio)
  test_indices =shuffled_indices[:test_set_size]
  train_indices=shuffled_indices[test_set_size:]
  return data[train_indices],data[test_indices]

測(cè)試代碼如下：

import numpy as np
import pandas as pd
data=np.random.randint(100,size=[25,4])
print(data)

結(jié)果如下：

Python數(shù)據(jù)集切分實(shí)例

從上圖可以看出，原數(shù)據(jù)集按照5:1被隨機(jī)分為兩部分。但是此種方法存在一個(gè)缺點(diǎn)–每次調(diào)用次函數(shù)切分同一個(gè)數(shù)據(jù)集切分出來(lái)的結(jié)果都不一樣，因此常在np.random.permutation(len(data))先調(diào)用np.random.seed(int)函數(shù)，來(lái)確保每次切分來(lái)的結(jié)果相同。

因此將上述函數(shù)改為：

def split_train(data,test_ratio):
  np.random.seed(43)
  shuffled_indices=np.random.permutation(len(data))
  test_set_size=int(len(data)*test_ratio)
  test_indices =shuffled_indices[:test_set_size]
  train_indices=shuffled_indices[test_set_size:]
  return data[train_indices],data[test_indices]

這個(gè)函數(shù)np.random.seed(43)當(dāng)參數(shù)為同一整數(shù)時(shí)產(chǎn)生的隨機(jī)數(shù)相同。

以上這篇Python數(shù)據(jù)集切分實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持億速云。

向AI問(wèn)一下細(xì)節(jié)

Python數(shù)據(jù)集切分實(shí)例

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽