您好,登錄后才能下訂單哦!
本次分享將介紹如何在Python中使用Pandas庫實(shí)現(xiàn)MySQL數(shù)據(jù)庫的讀寫。首先我們需要了解點(diǎn)ORM方面的知識
ORM技術(shù)
對象關(guān)系映射技術(shù),即ORM(Object-Relational Mapping)技術(shù),指的是把關(guān)系數(shù)據(jù)庫的表結(jié)構(gòu)映射到對象上,通過使用描述對象和數(shù)據(jù)庫之間映射的元數(shù)據(jù),將程序中的對象自動持久化到關(guān)系數(shù)據(jù)庫中。
在Python中,最有名的ORM框架是SQLAlchemy。Java中典型的ORM中間件有:Hibernate,ibatis,speedframework。
SQLAlchemy
SQLAlchemy是Python編程語言下的一款開源軟件。提供了SQL工具包及對象關(guān)系映射(ORM)工具,使用MIT許可證發(fā)行
SQLAlchemy模塊提供了create_engine()函數(shù)用來初始化數(shù)據(jù)庫連接,SQLAlchemy用一個字符串表示連接信息:
'數(shù)據(jù)庫類型+數(shù)據(jù)庫驅(qū)動名稱://用戶名:口令@機(jī)器地址:端口號/數(shù)據(jù)庫名
Pandas讀寫MySQL數(shù)據(jù)庫
我們需要以下三個庫來實(shí)現(xiàn)Pandas讀寫MySQL數(shù)據(jù)庫:
其中,pandas模塊提供了read_sql_query()函數(shù)實(shí)現(xiàn)了對數(shù)據(jù)庫的查詢,to_sql()函數(shù)實(shí)現(xiàn)了對數(shù)據(jù)庫的寫入。并不需要實(shí)現(xiàn)新建MySQL數(shù)據(jù)表。
sqlalchemy模塊實(shí)現(xiàn)了與不同數(shù)據(jù)庫的連接,而pymysql模塊則使得Python能夠操作MySQL數(shù)據(jù)庫。
我們將使用MySQL數(shù)據(jù)庫中的mydb數(shù)據(jù)庫以及employee表,內(nèi)容如下:
注意:
1.根據(jù)庫的文檔,我們看到to_sql函數(shù)支持兩類mysql引擎一個是sqlalchemy,另一個是sqlliet3.沒錯,在你寫入庫的時候,pymysql是不能用的?。?!
mysqldb也是不能用的,你只能使用sqlalchemy或者sqlliet3??!鑒于sqllift3已經(jīng)很久沒有更新了,筆者這里建議使用sqlalchemy??!
2.to_sql函數(shù)并不在pd之中,而是在io.sql之中,是sql腳本下的一個類?。。∷詔o_sql的最好寫法就是:
pd.io.sql.to_sql(df1,tablename,con=conn,if_exists='repalce')
下面將介紹一個簡單的例子來展示如何在pandas中實(shí)現(xiàn)對MySQL數(shù)據(jù)庫的讀寫:
import pandas as pd from sqlalchemy import create_engine # 初始化數(shù)據(jù)庫連接,使用pymysql模塊 # MySQL的用戶:root, 密碼:147369, 端口:3306,數(shù)據(jù)庫:test engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test') # 查詢語句,選出employee表中的所有數(shù)據(jù) sql = ''' select * from employee; ''' # read_sql_query的兩個參數(shù): sql語句, 數(shù)據(jù)庫連接 df = pd.read_sql_query(sql, engine) # 輸出employee表的查詢結(jié)果 print(df) # 新建pandas中的DataFrame, 只有id,num兩列 df = pd.DataFrame({'id': [1, 2, 3, 4], 'name': ['zhangsan', 'lisi', 'wangwu', 'zhuliu']}) # 將新建的DataFrame儲存為MySQL中的數(shù)據(jù)表,儲存index列 df.to_sql('mydf', engine, index=True) print('Read from and write to Mysql table successfully!')
運(yùn)行結(jié)果:
這說明我們確實(shí)將pandas中新建的DataFrame寫入到了MySQL中!
將CSV文件寫入到MySQL中
以上的例子實(shí)現(xiàn)了使用Pandas庫實(shí)現(xiàn)MySQL數(shù)據(jù)庫的讀寫,我們將再介紹一個實(shí)例:將CSV文件寫入到MySQL中,示例的example.csv文件如下
示例的Python代碼如下:
# -*- coding: utf-8 -*- # 導(dǎo)入必要模塊 import pandas as pd from sqlalchemy import create_engine # 初始化數(shù)據(jù)庫連接,使用pymysql模塊 db_info = {'user': 'root', 'password': '123456', 'host': 'localhost', 'port': 3306, 'database': 'test' } engine = create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s:%(port)d/%(database)s?charset=utf8' % db_info, encoding='utf-8') # 直接使用下一種形式也可以 # engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test') # 讀取本地CSV文件 df = pd.read_csv("C:/Users/fuqia/Desktop/example.csv", sep=',') print(df) # 將新建的DataFrame儲存為MySQL中的數(shù)據(jù)表,不儲存index列(index=False) # if_exists: # 1.fail:如果表存在,啥也不做 # 2.replace:如果表存在,刪了表,再建立一個新表,把數(shù)據(jù)插入 # 3.append:如果表存在,把數(shù)據(jù)插入,如果表不存在創(chuàng)建一個表??! pd.io.sql.to_sql(df, 'example', con=engine, index=False, if_exists='replace') # df.to_sql('example', con=engine, if_exists='replace')這種形式也可以 print("Write to MySQL successfully!")
在MySQL中查看example表格
補(bǔ)充:engine.execute(sql)可以直接執(zhí)行sql語句:
from sqlalchemy import create_engine engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test') sql = "DROP TABLE IF EXISTS example" engine.execute(sql)
如果用pymysql,則必須用cursor,讀者可以對比一下。
import pymysql from sqlalchemy import create_engine conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='test') # engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test') sql = "DROP TABLE IF EXISTS test_input" cursor = conn.cursor() cursor.execute(sql)
總結(jié)
本文主要介紹了ORM技術(shù)以及SQLAlchemy模塊,并且展示了兩個Python程序的實(shí)例,介紹了如何使用Pandas庫實(shí)現(xiàn)MySQL數(shù)據(jù)庫的讀寫。
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持億速云。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。