使用python讀取csv文件快速插入數(shù)據(jù)庫(kù)的實(shí)例

發(fā)布時(shí)間：2020-08-24 14:42:38 來(lái)源：腳本之家閱讀：198 作者：chenKFKevin 欄目：開發(fā)技術(shù)

如下所示：

# -*- coding:utf-8 -*-
# auth:ckf
# date:20170703
import pandas as pd
import cStringIO
import warnings
from sqlalchemy import create_engine
import sys

reload(sys)
sys.setdefaultencoding('utf8')
warnings.filterwarnings('ignore')

engine = create_engine(
 'postgresql+psycopg2://'數(shù)據(jù)庫(kù)連接)

filename = sys.argv[1]
tablename = sys.argv[2]
print '=== csvname is',filename ,'tablename is',tablename,'==='

print 'read', filename, '...'
df = pd.read_csv(filename, sep=';')
print 'read', filename, 'done!'

print 'lets insert ...'
output = cStringIO.StringIO()
# ignore the index
df.to_csv(output, sep='\t',index = False, header = False)
output.getvalue()
# jump to start of stream
output.seek(0)

connection = engine.raw_connection()
cursor = connection.cursor()
# null value become ''
cursor.copy_from(output,tablename,null='')
connection.commit()
cursor.close()
print 'done!'

這個(gè)腳本可以直接運(yùn)行，將csv文件放在同級(jí)目錄即可。

csv第一列需要有列名，如果csv里沒有列名，需要在代碼中添加列名。

代碼運(yùn)行示例：python insert.py csvname tablename

以上這篇使用python讀取csv文件快速插入數(shù)據(jù)庫(kù)的實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持億速云。

向AI問一下細(xì)節(jié)

使用python讀取csv文件快速插入數(shù)據(jù)庫(kù)的實(shí)例

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽