您好,登錄后才能下訂單哦!
今天小編給大家分享一下MySQL怎么實現(xiàn)批量推送數(shù)據(jù)到Mongo的相關(guān)知識點,內(nèi)容詳細(xì),邏輯清晰,相信大部分人都還太了解這方面的知識,所以分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后有所收獲,下面我們一起來了解一下吧。
import pymongo import mysql.connector
連接MySQL數(shù)據(jù)庫
mysql_conn = mysql.connector.connect( host="localhost", user="yourusername", password="yourpassword", database="yourdatabase" )
連接MongoDB數(shù)據(jù)庫
mongo_client = pymongo.MongoClient("mongodb://localhost:27017/") mongo_db = mongo_client["mydatabase"] mongo_collection = mongo_db["mycollection"]
在MongoDB中為指定集合創(chuàng)建索引
mongo_collection.create_index([("myfield", pymongo.ASCENDING)])
緩沖列表和計數(shù)器以在每10000行處理后進(jìn)行批處理
bulk_data = [] bulk_count = 0
創(chuàng)建游標(biāo)對象并從MySQL數(shù)據(jù)庫檢索數(shù)據(jù)
mysql_cursor = mysql_conn.cursor() mysql_cursor.execute("SELECT * FROM mytable")
遍歷結(jié)果集并處理每個行。
for row in mysql_cursor: # 將一條記錄轉(zhuǎn)換成你的MongoDB文檔,然后將其添加到緩沖列表。 doc = { "myfield": row[0], "anotherfield": row[1], "yetanotherfield": row[2] } bulk_data.append(doc) bulk_count += 1
# 如果我們達(dá)到了10000,請在集合中批量插入緩沖數(shù)據(jù)。 if bulk_count == 10000: mongo_collection.insert_many(bulk_data) # 重置計數(shù)器并清除緩沖數(shù)據(jù)列表 bulk_count = 0 bulk_data.clear()
處理剩余的行,如果有任何事情需要處理。
if bulk_count > 0: mongo_collection.insert_many(bulk_data)
關(guān)閉MySQL連接。
mysql_conn.close()
import pymongo import mysql.connector # 連接MySQL數(shù)據(jù)庫 mysql_conn = mysql.connector.connect( host="localhost", user="yourusername", password="yourpassword", database="yourdatabase" ) # 連接MongoDB數(shù)據(jù)庫 mongo_client = pymongo.MongoClient("mongodb://localhost:27017/") mongo_db = mongo_client["mydatabase"] mongo_collection = mongo_db["mycollection"] # 在MongoDB中為指定集合創(chuàng)建索引 mongo_collection.create_index([("myfield", pymongo.ASCENDING)]) # 緩沖列表和計數(shù)器以在每10000行處理后進(jìn)行批處理 bulk_data = [] bulk_count = 0 # 創(chuàng)建游標(biāo)對象并從MySQL數(shù)據(jù)庫檢索數(shù)據(jù) mysql_cursor = mysql_conn.cursor() mysql_cursor.execute("SELECT * FROM mytable") # 遍歷結(jié)果集并處理每個行。 for row in mysql_cursor: # 將一條記錄轉(zhuǎn)換成你的MongoDB文檔,然后將其添加到緩沖列表。 doc = { "myfield": row[0], "anotherfield": row[1], "yetanotherfield": row[2] } bulk_data.append(doc) bulk_count += 1 # 如果我們達(dá)到了10000,請在集合中批量插入緩沖數(shù)據(jù)。 if bulk_count == 10000: mongo_collection.insert_many(bulk_data) # 重置計數(shù)器并清除緩沖數(shù)據(jù)列表 bulk_count = 0 bulk_data.clear() # 處理剩余的行,如果有任何事情需要處理。 if bulk_count > 0: mongo_collection.insert_many(bulk_data) # 關(guān)閉MySQL連接。 mysql_conn.close()
以上就是“MySQL怎么實現(xiàn)批量推送數(shù)據(jù)到Mongo”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家閱讀完這篇文章都有很大的收獲,小編每天都會為大家更新不同的知識,如果還想學(xué)習(xí)更多的知識,請關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。