python怎么轉移數(shù)據(jù)庫里的數(shù)據(jù)

這篇文章主要介紹了python怎么轉移數(shù)據(jù)庫里的數(shù)據(jù)，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

python的數(shù)據(jù)類型有哪些?

python的數(shù)據(jù)類型：1. 數(shù)字類型，包括int（整型）、long（長整型）和float（浮點型）。2.字符串，分別是str類型和unicode類型。3.布爾型，Python布爾類型也是用于邏輯運算，有兩個值：True（真）和False（假）。4.列表，列表是Python中使用最頻繁的數(shù)據(jù)類型，集合中可以放任何數(shù)據(jù)類型。5. 元組，元組用”()”標識，內(nèi)部元素用逗號隔開。6. 字典，字典是一種鍵值對的集合。7. 集合，集合是一個無序的、不重復的數(shù)據(jù)組合。

1、常見數(shù)據(jù)庫

（1）Scikit-learn：需要復蓋特征工程、模型訓練和模型測試所有功能的程序庫，Scikit-learn是最好的選擇。這個優(yōu)秀的免費軟件可以提供機器學習和數(shù)據(jù)挖掘所需的所有工具，現(xiàn)在是python機器學習的標準庫，建議使用成熟的機器學習算法。

（2）NLTK：雖然不是機器學習的程序庫，但它是自然語言處理所必需的庫。除了文本處理功能之外，它還包括聚類、分詞、詞干提取、標記、分析等大量數(shù)據(jù)集和其他關于詞法的資源。

2、轉移數(shù)據(jù)

基于Python2.7的版本環(huán)境，Python實現(xiàn)了數(shù)據(jù)庫的跨服務器遷移，每次提交查詢都要5000條，代碼中每個查詢提交的數(shù)量可以自己改變。

# -*- coding: utf-8 -*-
 
import MySQLdb
import time
import warnings
 
warnings.filterwarnings("ignore")
 
 
class ConnectMysql(object):
    def __init__(self):
#         這里設置分頁查詢, 每頁查詢多少數(shù)據(jù)
        self.page_size = 5000
 
    def getTable(self):
        conn = MySQLdb.connect(
            host="***.***.**.**",
            user="****",
            passwd="*************",
            db='****',
            charset='utf8'
        )
        conn_local = MySQLdb.connect(
            host="********************************",
            user="**********",
            passwd="********",
            db='*******',
            charset='utf8'
        )
        cur = conn.cursor()
        cur_local = conn_local.cursor()
        cur.execute('show tables')
        tables = cur.fetchall()
        for table in tables:
            print str(table[0]).lower()
            # 需要遷移的數(shù)據(jù)庫查詢表的列數(shù)
            cur.execute("SELECT COUNT(*) FROM information_schema.COLUMNS WHERE table_schema='china' AND table_name='" + table[0] + "'")
            table_col_count = cur.fetchone()
            # print table_col_count[0]
            # 需要遷移的數(shù)據(jù)庫查詢表的結構
            cur.execute('show create table ' + table[0])
            result = cur.fetchall()
            create_sql = result[0][1]
            # 查詢需要遷移的數(shù)據(jù)庫表的數(shù)據(jù)條數(shù)
            cur.execute('select count(*) from ' + table[0])
            total = cur.fetchone()
            page = total[0] / self.page_size
            page1 = total[0] % self.page_size
            if page1 != 0:
                page = page + 1
 
            # 阿里云數(shù)據(jù)庫創(chuàng)建表
            cur_local.execute("SELECT table_name FROM information_schema.`TABLES` WHERE table_schema='user' AND table_name='" + str(table[0]).lower() + "'")
            table_name = cur_local.fetchone()
            if table_name is None:
                cur_local.execute(create_sql)
            for p in range(0, page):
                while True:
                    try:
                        print '開始', table[0], '的第', p + 1, '頁查詢'
                        if p == 0:
                            limit_param = ' limit ' + str(p * self.page_size) + ',' + str(self.page_size)
                        else:
                            limit_param = ' limit ' + str(p * self.page_size + 1) + ',' + str(self.page_size)
                        cur.execute('select * from ' + table[0] + limit_param)
                        inserts = cur.fetchall()
                        print '查詢成功'
                        param = ''
                        for i in range(0, table_col_count[0]):
                            param = param + '%s,'
                        print '開始插入'
                        cur_local.executemany('replace into ' + table[0] + ' values (' + param[0:-1] + ')', inserts)
                        print table[0], '的第', p + 1, '頁, 插入完成, 還有', page - p - 1, '頁, 任重而道遠'
                        conn_local.commit()
                        break
                    except Exception as e:
                        print e
                        time.sleep(60)
                        cur = conn.cursor()
                        cur_local = conn_local.cursor()
                print table[0], ' 插入完成'
                print '\n \n ======================================================================== \n\n'
        cur_local.close()
        conn_local.close()
        cur.close()
        conn.close()
 
 
if __name__ == '__main__':
    conn_mysql = ConnectMysql()
    conn_mysql.getTable()

感謝你能夠認真閱讀完這篇文章，希望小編分享的“python怎么轉移數(shù)據(jù)庫里的數(shù)據(jù)”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業(yè)資訊頻道，更多相關知識等著你來學習!