您好,登錄后才能下訂單哦!
小編給大家分享一下如何使用python的pandas庫讀取csv文件保存至mysql數(shù)據(jù)庫,希望大家閱讀完這篇文章之后都有所收獲,下面讓我們一起去探討吧!
1、云計(jì)算,典型應(yīng)用OpenStack。2、WEB前端開發(fā),眾多大型網(wǎng)站均為Python開發(fā)。3.人工智能應(yīng)用,基于大數(shù)據(jù)分析和深度學(xué)習(xí)而發(fā)展出來的人工智能本質(zhì)上已經(jīng)無法離開python。4、系統(tǒng)運(yùn)維工程項(xiàng)目,自動(dòng)化運(yùn)維的標(biāo)配就是python+Django/flask。5、金融理財(cái)分析,量化交易,金融分析。6、大數(shù)據(jù)分析。
第一:pandas.read_csv讀取本地csv文件為數(shù)據(jù)框形式
data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.csv')
第二:如果存在日期格式數(shù)據(jù),利用pandas.to_datatime()改變類型
data.iloc[:,1]=pd.to_datetime(data.iloc[:,1])
注意:=號,這樣在原始的數(shù)據(jù)框中,改變了列的類型
第三:查看列類型
print(data.dtypes)
第四:方法一:保存至MYSQL【缺點(diǎn)耗時(shí)長】
利用MYSQLdb庫,封裝成一個(gè)類,實(shí)現(xiàn)創(chuàng)建表,添加數(shù)據(jù)的操作,缺點(diǎn)耗時(shí)長
class Jess_mysql(): """ 設(shè)置mysql類,實(shí)現(xiàn)創(chuàng)建數(shù)據(jù)框,表,及添加數(shù)據(jù) """ def __init__(self): self.mysql=MySQLdb.connect(user=mysql_name,host=mysql_host,password=mysql_password,database=mysql_database) self.conn=self.mysql.cursor() def create_table(self,table_names,col_names): """ 創(chuàng)建表 :param table_names: 表名 :param col_names: 列名,列表格式 :return: """ tables=' varchar(20),'.join(['%s'] *len(col_names)) sql_yuju='create table if not exists `{t}` ({v} varchar(20))'.format(t=table_names,v=tables)#字段需要標(biāo)注格式 ss=sql_yuju %(tuple(col_names)) print(ss) self.conn.execute(ss) self.mysql.commit() def add_data(self,table_name,col_names,col_data): """ :param table_name: 表名 :param col_names: 列名,字段名 :param col_data: 字段值 :return: """ colname=','.join(['%s']*len(col_names)) data=','.join(['%s']*len(col_data)) sql_yuju='INSERT INTO `{t}` ({name}) VALUES ({data});'.format(t=table_name,name=colname,data=data) ss=sql_yuju%(*col_names,*col_data) #print(ss) self.conn.execute(ss) self.mysql.commit()
第五:利用sqlalchemy的create_engine()方法
1、創(chuàng)建連接
import sqlalchemy #engine=sqlalchemy.create_engine('mysql + mysqldb://root:123456@118.24.26.227:3306/python_yuny') engine=sqlalchemy.create_engine('mysql+mysqldb://{user}:{password}@{host}:3306/{database}'.format (user=mysql_name,password=mysql_password,host=mysql_host,database=mysql_database))
2、利用pd.io.sql.to_sql()
pd.io.sql.to_sql(frame=data,name='yunying',con=engine,index=False,if_exists='append')
注意相關(guān)參數(shù)的設(shè)置。
此外,保存到mysql中,需要注意日期格式的列,因?yàn)樵趍ysql對應(yīng)的field設(shè)置格式為varchar(20)后,原始的日期2015-8-9,寫入數(shù)據(jù)庫,只有2015,這需要兩步操作。
a、上面第二目錄的,利用pandas.to_datetime(,format='%Y-%m-%d') #format的格式要和原始字符2016-8-9格式一樣
b、利用datetime庫,實(shí)現(xiàn)format='%Y%m%d'
x=data.shape[0] for i in range(x): col_data=list(df.iloc[i,:]) col_data[1]=datetime.date.strftime(col_data[1],'%Y%d%m')
?這一步后,日期格式由原始的2016-6-2,轉(zhuǎn)為20160606,就可以以寫入數(shù)據(jù)庫對應(yīng)的字段【其字段類型varchar(20)】
第六:讀取mysql的數(shù)據(jù)
df=pd.read_sql('select * from %s'%table_name,con=engine,index_col=None)
默認(rèn)不設(shè)置索引列,可以自行指定索引列名。
看完了這篇文章,相信你對“如何使用python的pandas庫讀取csv文件保存至mysql數(shù)據(jù)庫”有了一定的了解,如果想了解更多相關(guān)知識,歡迎關(guān)注億速云行業(yè)資訊頻道,感謝各位的閱讀!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。