溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

解決python中svm內(nèi)存不足的方法

發(fā)布時(shí)間:2020-07-01 16:57:39 來源:億速云 閱讀:286 作者:清晨 欄目:編程語言

小編給大家分享一下解決python中svm內(nèi)存不足的方法,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討方法吧!

支持向量機(jī)(Support Vector Machine, SVM)是一類按監(jiān)督學(xué)習(xí)(supervised learning)方式對(duì)數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器。

在python中使用SVM處理大數(shù)據(jù)時(shí)可能會(huì)遇到內(nèi)存不足的情況,新我們就來看一下如何解決內(nèi)存不足的問題:

我們可以使用python分塊讀取大數(shù)據(jù)來避免內(nèi)存不足,實(shí)現(xiàn)代碼如下:

import pandas as pd
def read_data(file_name):
    '''
    file_name:文件地址
    '''
    inputfile = open(file_name, 'rb')   #可打開含有中文的地址
    data = pd.read_csv(inputfile, iterator=True)
    loop = True
    chunkSize = 1000    #一千行一塊
    chunks = []
    while loop:
        try:
            chunk = data.get_chunk(chunkSize)
            chunks.append(chunk)
        except StopIteration:
            loop = False
            print("Iteration is stopped.")
    data = pd.concat(chunks, ignore_index=True)
    #print(train.head())
    return data

看完了這篇文章,相信你對(duì)解決python中svm內(nèi)存不足的方法有了一定的了解,想了解更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道,感謝各位的閱讀!

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI